恽既失爵位家居，治产业，起室宅，以财自娱。岁余，其友人安定太守西河孙会宗，知略士也，与恽书，谏戒之。为言大臣废退，当阖门惶惧，为可怜之意；不当治产业，通宾客，有称誉。恽宰相子，少显朝廷，一朝暗昧，语言见废，内怀不服。报会宗书曰：
恽材朽行秽，文质无所底，幸赖先人余业，得备宿卫。遭遇时变，以获爵位。终非其任，卒与祸会。足下哀其愚蒙，赐书教督以所不及，殷勤甚厚。然窃恨足下不深推其终始，而猥随俗之毁誉也。言鄙陋之愚心，若逆指而文过；默而息乎，恐违孔氏各言尔志之义。故敢略陈其愚，惟君子察焉。
恽家方隆盛时，乘朱轮者十人，位在列卿，爵为通侯，总领从官，与闻政事。曾不能以此时有所建明，以宣德化，又不能与群僚同心并力，陪辅朝庭之遗忘，已负窃位素餐之责久矣。怀禄贪势，不能自退，遂遭变故，横被口语，身幽北阙，妻子满狱。当此之时，自以夷灭不足以塞责，岂意得全首领，复奉先人之丘墓乎？伏惟圣主之恩不可胜量。君子游道，乐以忘忧；小人全躯，说以忘罪。窃自念过已大矣，行已亏矣，长为农夫以末世矣。是故身率妻子，戮力耕桑，灌园治产，以给公上，不意当复用此为讥议也。
夫人情所不能止者，圣人弗禁。故君父至尊亲，送其终也，有时而既。臣之得罪，已三年矣。田家作苦。岁时伏腊，烹羊炰羔，斗酒自劳。家本秦也，能为秦声。妇赵女也，雅善鼓瑟。奴婢歌者数人，酒后耳热，仰天抚缶而呼乌乌。其诗曰：“田彼南山，芜秽不治。种一顷豆，落而为萁。人生行乐耳，须富贵何时！”是日也，奋袖低昂，顿足起舞；诚滛荒无度，不知其不可也。恽幸有余禄，方籴贱贩贵，逐什一之利。此贾竖之事，污辱之处，恽亲行之。下流之人，众毁所归，不寒而栗。虽雅知恽者，犹随风而靡，尚何称誉之有？董生不云乎：“明明求仁义，常恐不能化民者，卿大夫之意也。明明求财利，常恐困乏者，庶人之事也。”故道不同，不相为谋，今子尚安得以卿大夫之制而责仆哉！
夫西河魏土，文侯所兴，有段干木、田子方之遗风，凛然皆有节概，知去就之分。顷者足下离旧土，临安定，安定山谷之间，昆戎旧壤，子弟贪鄙，岂习俗之移人哉？于今乃睹子之志矣！方当盛汉之隆，愿勉旃，毋多谈。