謝公在東山，朝命屢降而不動。後出為桓宣武司馬，將發新亭，朝士鹹出瞻送。高靈時為中丞，亦往相祖。先時，多少飲酒，因倚如醉，戲曰：“卿屢違朝旨，高臥東山，諸人每相與言：‘安石不肯出，將如蒼生何？’今亦蒼生將如卿何？”謝笑而不答。

　　桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。

　　謝公始有東山之誌，後嚴命屢臻，勢不獲已，始就桓公司馬。於時人有餉桓公藥草，中有“遠誌”。公取以問謝：“此藥又名‘小草’，何壹物而有二稱？”謝未即答。時郝隆在坐，應聲答曰：“此甚易解：處則為遠誌，出則為小草。”謝甚有愧色。桓公目謝而笑曰：“郝參軍此過乃不惡，亦極有會。”