牛牢,字君直。世祖为布衣时,与牢交游,尝夜共讲说谶言,云:刘秀当为天子。世祖曰:“安知非我。万一果然,各言尔志。”牢独默然。世祖问之,牢曰:“丈夫立义,不与帝友。”众大笑。及世祖即位,征牢,称疾不至。诏曰:“朕幼交牛君,真清高士也。”恒有疾,州郡之官常先到家致意焉,刺史、郡守是以每辄奉诏就家存问。牢恒被称疾,不答诏命。