在国外演讲时，沈从文说：“许多在日本、在美国的朋友，为我不写小说而觉得惋惜，事实上并不值得惋惜。按照社会习惯来说，一个人进了历史博物馆，就等于说他本身已成为历史，也就是说等于报废了。但对我来说，这是一个机会，可以具体地把六千年的中华文物，有条理有系统地看一个遍。”
1949年7月召开的“第一次文代会”，沈从文与京派理论家朱光潜、沦陷区女作家张爱玲、国统区作家无名氏（卜宁）等都被排除在外，并被赶下北大的讲台。多年后，夏衍对李辉谈及沈从文被排除的原因，是沈四十年代为《战国策》杂志（该杂志曾宣扬法西斯，创办该杂志的西南联大教授林同济、陈铨、雷海宗等人被称为“战国策派”）写文章，讲三K主义。
在革大学习时，沈从文很少参加集体活动，显得形只影单。当别人下棋、聊天、跳舞的时候，沈则走进厨房，和厨师们聊天。他以厨房的一位老师傅为原型写了一篇小说《老同志》，却因为受到许多条条框框的影响，失去了其往日文章的神韵，而且，一直无法发表。他写信给丁玲求助，依然未能发表。
50年代，辅仁大学曾有意聘请沈从文为教授，沈权衡再三，拒绝了；有人建议他写一些历史故事，但沈怕自己对历史人物的理解和专家学者存在差异，引起不必要的麻烦，再次谢绝。沈从文觉得，还是和文物在一起感到温暖，“它们不仅连接了生死，也融洽了人生”。
麝香是雄麝脐部的分泌物，传说雄麝在被人迫到无路可逃时，会自行举爪撕裂腹下麝香，抽身投岩而死。
从“革大”毕业时，沈从文原本可以重新选择工作，学习小组的组长也告诉他上级希望他继续从事写作。沈听罢很是困惑，他觉得，既然你们都否定我过去的作品，认为我思想有问题，我再写，也是徒劳无益。最终，他还是选择回到历史博物馆研究文物。
1953年，沈从文接到开明书店的通知：“你的作品已经过时，凡在开明的已印未印各书稿及纸型，已全部代为焚毁。”
1948年岁末，周定一到沈从文家看望老师，临别时，沈临写了史孝山的《出师颂》，在条幅的落款处郑重写下：“三十七年除日封笔试纸”。
沈从文“搁笔”之后，曾经提到“跛者不忘其履”，他写道：“这个人本来如果会走路，即或因故不良于行时，在梦中或在日常生活中，还是会常常要想起过去一时健步如飞的情形，且乐于在一些新的努力中，试图恢复他的本来。”
1961年初，沈从文在北京阜外医院住院时研读了屠格涅夫和托尔斯泰的小说，记下了自己的心得：“难的不是无可写之人，无可写的事，难的是如何得到一种较从容自由的心情……如能得到较从容工作环境，一定还可以写得出几个有分量东西的。”
林斤澜有次拉沈从文去参加一个会议，主持人最后礼节性地请沈从文讲话，他赶紧说：“我不会写小说，我不太懂小说。”
人们为沈从文在文学上的“失踪”感到不平，沈从文却笑道：“那未必不是塞翁失马。”
1962年，作协安排沈从文等几个作家去江西老区，准备让他们长期住下去，但最终沈从文还是没有动笔，跑到景德镇去看陶瓷，并帮着参谋如何改进生产。从此，沈从文彻底不再写文学作品，除了旧体诗。
那晚沈从文给马逢华看了一首新写的长诗，马看后爱不忍释，觉得撕掉可惜，让沈交给他保管。沈说：“这样的东西还有什么保存的价值？我撕也不知道撕了好多。以后的文章作品，都得为工农兵服务！”
沈从文到美国访问，言谈风采大异于其他刚经历十年浩劫的人，有人用“此老耐寒”来形容他。此行中，沈遇上旧时学生林蒲，林好奇先生如何挨过动乱年代的风雨，沈只以低到像是自语的声音回答：“投岩麝退香，你懂吗？”
张兆和在华北“革大”学习时，沈从文整天在博物院工作、学习，晚上回家后，还要照顾两个孩子，等孩子入睡后，常常深夜独坐，听古典音乐唱片。某晚，马逢华陪着他听音乐，他像从梦中醒来似的说：“我这副脑子整个坏了，僵硬了，一点没有用处。只有当我沉湎在音乐里面时，才又觉得恢复了想象能力，——有时我好像又回到了从前在湖南乡下的时候。我可以听见小河里流水的响声，闻到草地上青草的腥味，听见蚱蜢振翅的小小噪音……我好像重新充满了创造力。有时候，一个晚上我能写出很多东西来，第二天再把它们撕掉。”
1956年，沈从文萌生了继续写作的想法，他在历史博物馆过得并不愉快，没有固定的办公桌，没有经费，没有助手，每天花两个小时挤公车上下班，共换八次车，黄昏过马路还担心被撞……每次去文物局看新收来的文物，都被馆中领导认为是“打小报告”去了，立刻有人来“警告”他：“凡是到局里反映馆中情况的，是‘越级’，这一点要弄清楚，免得犯错误。”正巧这时，胡乔木指示《人民日报》副刊向沈从文约稿，沈的散文《天安门前》随后刊登；接着，周扬又指示《人民文学》的主编严文井请沈出山，沈萌生了回归作家队伍的想法。但随之而来的“反右”运动中，过往的老朋友丁玲、萧乾、陈梦家等人一个个被揪了出来，沈从文再一次感觉到危机，加上对文物割舍不下的情感，他在写与不写之间徘徊良久，最终还是选择了文物研究。
同年9月间，全国文代会第二次大会在怀仁堂举行，沈从文参加了大会。会后，毛泽东和周恩来接见一部分代表，在介绍到沈从文时，毛泽东问过他的年龄后，说：“年纪还不老，再写几年小说吧。”沈从文回忆：“当时除了兴奋感激，眼睛发潮，什么也没说。”
