江青一直想打倒他，成立了专案组，专门收集他写的种种社论、评论。专案组“辛辛苦苦”，好不容易才收集了厚厚一大本，送到毛泽东那里。毛泽东看了一遍，说道：“胡乔木写得很不错嘛！”江青不敢吱声了。
毛泽东这段话，说出了在“文革”中没有“动”胡乔木的原因，也表明他对胡乔木的评价。
至于庐山会议，胡乔木倒是讲过一些反“左”的话，那也是因为毛泽东上山之初反复强调纠“左”……
渐渐地，胡乔木越发变得清闲。“文革”十年，他几乎足不出户，就在胡宅那围墙之内生活着。
在外调高潮过去之后，他渐渐有功夫看书、看报。他曾主动要求去清扫大街，说是为人民服务。扫了几次，被工作人员劝住了，毕竟要保障他的安全。
他的日常事务大体有三：一是接待外调；二是继续写检查；三是看病。
谷羽回忆说：“大约在1968年2月，由于乔木的问题，邮电学院的造反派勒令儿子退学，并强迫我签字。我又气又恨，不幸中风，左腿偏瘫。当时，我也正受冲击，医疗问题没人管，乔木就和家人一起想办法，在一块木板上装上轮子，上面放一把椅子，做成简易轮椅，送我到医院去打针，针灸。中风还没有完全治好，科学院的造反派就硬把我从家中带走，隔离起来。平时只让我们的小儿子给送点吃的和用的，还不准见面。乔木很担心，无奈之中，他只得求助于毛主席。他给主席写了一封信，反映我的病情和被隔离审查的情况。主席很快干预，我才被放回家。在乔木的关心和照料下，我逐渐康复。我和乔木为这事还给主席写了一封信，表示衷心的感谢。”
毛泽东答道：“胡乔木曾为中央起草了许多重要文件。《关于若干历史问题的决议》，别人搞了几个月，没有搞出头绪。他一写，就写出来了。《再论无产阶级专政的历史经验》也是他写的，写得不错。所以，我们就没有动他。”
他渐渐被世人遗忘。
他家变得“门庭若市”，外调人员纷至沓来，排满他的日程表。
他在院子里种菜，种瓜。
平心而论，胡乔木在毛泽东身边工作二十多个春秋，一向勤勤恳恳，忠心耿耿，又不出头露面，所以毛泽东对他的印象一直不错。至于“文革”中所罗列的胡乔木的“错误”，毛泽东其实也很明白：
照理，如此空闲，该是写诗填词的大好时机。他却诗兴全无，一首新作也未曾写出来。
他曾一度要求把每月三百元的工资中，抽一百元作为党费上交。工作人员还是劝住了他，按一般规定交党费。
1971年夏日，毛泽东南巡。8月底，他在长沙接见广州部队司令员丁盛。丁盛问毛泽东：“胡乔木是什么样的人？”
从前来外调的单位来看，大体反映出他往日的工作范围：《人民日报》社、新华社、中宣部、中共中央党校、语言研究所、浙江大学，国家计委、北京大学、中国历史博物馆、国家经委、中国科学院、中共上海市委，天津南开大学、辽宁大学、中国科学技术大学、中国作家协会、中国文联、中国人民大学、中共中央统战部、中共中央马恩列斯着作编译局、故宫博物院、外文局、人民出版社、外交部……
不过，这个专案组，后来倒给胡乔木“帮了忙”：在出版文集时，提供了不少资料！
自从1967年5月1日开始，胡乔木再也没有被拉出去批斗。
他的中共中央书记处候补书记一职，未被撤销过。但是，在1969年的中共“九大”，他连代表都不是，党内的种种职务也就自行消失。
他在自己家中，过着平静的生活。遗憾的是，他家离天安门广场太近了。中国发生任何重大的事件，总可以从天安门广场上的口号声、高音喇叭声中反映出来。这时，也就打破了胡宅的宁静。
关于《清宫秘史》，胡乔木无非是转达了刘少奇的话罢了；
关于《海瑞罢官》，胡乔木的初衷是要宣传毛泽东关于海瑞的见解；
他的大部分时间，花在读书上。把《资本论》重读了一遍，还细读了许多马、恩、列、斯着作。
他每日仍细细看报，只是毋需“评报”了。他总是很注意报上的黑体字——毛泽东的最新指示。毛泽东，依然是他最为关注的对象。
