只有简文帝司马昱“读懂”了谢安，他认为谢安不会长期隐居遁世，一定会出山与人共济时艰。
简文帝是位窝囊皇帝，在位两年一直战战兢兢，害怕被独揽大权的桓温废黜。不过，他虽无济世之略，却有知人之明；虽是一位无能的政治家，但不失为一位出色的心理学家，善于从一叶落而知秋已至。不然，怎能对谢安独具慧眼？
一方面大家迫切希望他出来挽救危局，一方面他自己又逍遥世外，朝野人士都在焦灼地期望、等待……
谢公在东山畜妓，简公曰：“安石必出。既与人同乐，亦不得不与人同忧。”
原来谢安虽然在浙江上虞的东山，纵情于丘壑，纵意于林泉，泛舟于沧海，似乎真的“去伯夷叔齐不远”，但他每次外出游赏总要携妓陪同。据此简文帝断言：“安石必出。”为什么呢？他的分析十分独到：“既与人同乐，亦不得不与人同忧。”
——《世说新语·识鉴》
他这种看法的根据何在呢？
晋简文帝和孝武帝两朝内乱频仍，强敌寇境，晋江山如风中残烛。出身高门的谢安享誉士林，名士们认为其雅量足以镇安朝野，可是，谢安本人偏偏“无处世意”，高卧东山坚不出仕，与王羲之、许询、支道林、孙绰游处，出则渔弋山水，入则言咏属文，俨然像不事王侯恬淡谦退的隐士。说来也怪，越是拒绝朝廷征召，谢安的声誉越隆，足不出户却“自然有公辅之望”。他那副神态把同床共枕的太太也骗过了，见他万事不关心的模样，夫人便劝他说：“大丈夫不该如此吧？”家人、友人都认为谢安已经绝意官场，时任中臣的高崧对谢安说：“卿累违朝旨，高卧东山，诸人每相与言，安石不肯出，将如苍生何！苍生今亦将如卿何！”
畜妓是当时士大夫普遍的嗜好，谢安和别人一样离不开声色之娱，嗜欲习深说明俗情未断，俗情未断就不可能高蹈弃世，从感情到思想都是“我辈中人”，与人同乐必定会与人同忧——谢安出山只是个时间问题，他只是在选择最佳出仕时刻。
