熙宁八年(公元1075年)正月，神宗将诬陷王安石的郑侠放逐岭南，罢了冯京的官。此时，执政的廷臣参知政事吕惠卿与宰相韩绛不合，变法派的内部产生矛盾。二月，神宗下令召王安石回京，官复原职。这时，保守势力互相勾结，反对变法活动频仍，变法派也出现了分裂，而神宗的精神风貌已不像熙宁初年那样振奋。王安石深知再继续变法险阻将会更大，加上在朝廷任职八年，操持国家大事，积劳成疾，56岁的王安石已觉身体疲劳，力不从心。次年春起，王安石连续四五次上呈条陈，请求辞去宰相之职。同年十月，神宗再次批准罢去他的宰相职务，以带使相(官阶，非实职)兼办江宁府。王安石二次回到江宁。元丰二年(公元1079年)九月，朝廷封他为荆国公，世称“王荆公”。
王安石的新法侵犯了官僚地主、富商大贾的切身利益，引起了他们的不满与反对。在朝廷中以王安石为首的变法派同以司马光为首的保守派的斗争始终十分激烈(图3)。王安石上台不久，保守派御史中丞吕诲就上疏神宗，弹劾王安石“十大罪状”，说他“大奸似忠，大诈似信”，“罔上欺下，文言饰非，误天下苍生”(《宋史·吕诲传》)，并对其进行人身攻击。面对着污言秽语，王安石处之泰然，他说：“如今要做事，何能免人纷纭！”
一波未平，一浪又起。熙宁七年(公元1074年)春，天下大旱，饥民流离失所。自神宗近臣乃至皇后都言灾害与王安石变法有关，逼迫神宗中止新法。郑侠将所见“流民”扶老携幼困苦的状态绘成《流民图》，进呈御览，并上疏声称：“天旱由王安石所致，除掉王安石，天必然会下雨。”慈圣、宣仁两宫皇太后痛哭流涕地对神宗说：“王安石变法乱了天下！”这时，自然灾害严重，又有来自各方的压力，神宗思想上也有些疑虑。王安石已感到保守派势力气焰嚣张，神宗左右为难，无法继续推行新法。四月，他只好提出辞职。神宗无奈罢去王安石的宰相，封他为观文殿大学士，出任江宁知府。王安石感慨地说：“天下的事情就像煮汤，加一把火，又添一勺水，何时才能煮熟呀！”这就是王安石的第一次罢相。
退居林下的王安石，在自己的“半山园”中披览群书，吟诗作赋。时常骑驴漫游江宁各地，凭吊古迹，徜徉山水间，以此安度晚年。元丰七年(公元1084年)七月，新法的反对派苏轼途经江宁时，专门去王府上拜访了他。两位昔日的政敌一见面，尽弃前嫌，不计较个人的恩怨，推心置腹地交谈，对天下弊端有了相近的看法。二人携手郊游，尽论古昔文字，以诗歌唱和，流连忘返。王安石比苏轼年长16岁，特别喜欢苏轼的诗词与散文，赞颂他是“人中龙”，又说：“不知更几百年，方有如此之人物。”(《西清诗话》)苏轼与王安石交往一个多月，“朝夕闻所未闻，慰喜之极”，对王安石更加了解，感叹道：“从公(安石)已觉十年迟。”(《潘子真诗话》)王安石和苏轼作为“唐宋八大家”中的两大家，从政坛上的对手，到握手言欢，成为知己挚友，这件事在中国文学史上留下了一段令人称道的佳话。
熙宁初年，朝廷就有人攻击王安石，说他坚持“天变不足畏，祖宗不足法，人言不足恤”的离经叛道的思想(参阅《宋史·王安石传》)。意思是说王安石认为，自然灾害并不可怕，人可以战胜它；时代不同了，祖宗成规，不足以效法，应因势变革；社会舆论有是非之分，不要受流俗之言的影响。王安石并不否认自己的这种政见。一次，同神宗交谈时，毫不隐讳地表述了自己“三不足”的见地。因为这是他推动变法的锐利的思想武器。而保守派对王安石变革的诋毁也正是在这一点上大作文章。
图3 司马光(公元1019—1086年)熙宁五年(公元1072年)正月，灵台郎尤瑛奏言，天气久阴，星象失度，应当罢免王安石，黥〔qing情〕其面，将他发配英州(今广东英德东)。枢密使文彦博也借机推波助澜，说市易法的实行与社会下层争利，民声鼎沸，致使华山塌裂。王安石针锋相对地批驳道：“华山发生的灾异，若说是天意，恐怕是由小人引起的。市易司的设立，因百姓贫穷已久，不过是抑制兼并而已，于官何益？”文彦博等人无言以对。
元丰八年(公元1085年)三月，神宗病死于宫中福宁殿，10岁的皇太子赵煦〔xu 续〕称帝，即宋哲宗。哲宗年幼，尊英宗高后为太皇太后，掌管军国大政。高后立即启用司马光入朝执政。高后和司马光等保守派对新法早已恨之入骨。从元祐元年(公元1086年)开始，他们一起逐项废除了已实行16年的新法，史称“元祐更变”。保守派罢废新法的消息传到江宁，王安石闻讯，非常气愤。当他听说募役法被废除时，再也沉默不住了，悲痛地说：“也要罢掉这项法令吗？创立此法，我曾同先帝(神宗)商量了两年，设想得很完善了！”然而，还有谁会倾听他最后的呼喊呢？同年四月，一代伟大的政治家、文学家王安石便忧愤而逝，走完了他66年曲折而不平凡的人生路程。
