当在仕途被弄得疲倦不堪时，他就觉得“贞观丘壑美”的隐遁生涯或许更适合自己的本性，并把乌纱帽看成是扭曲自我的桎梏，“顾己虽自许，心迹犹未并”，痛恨隐逸之“心”与隐逸之“迹”的分离，要求心迹合一，当一个名副其实的隐士。那么，离开了官场走向山水之中，他是不是就真的找到了自我，重新获得了自己的本性呢？写于罢官后的《富春渚》一诗真实地表现了诗人进退失据的两难心境：
然而，我们看到的还只是谢灵运的一个方面。不错，他的确有过对理想人格的追求，但一旦与现实利益相抵牾时，他就会毫不可惜地放弃它。他不是说身在京朝有如野鹿被囚吗？他被外放为永嘉郡守时的那份凄惨模样，又使人怀疑他的表白是否真诚：“述职期阑暑，理棹变金素。秋岸澄夕阴，火旻团朝露。辛苦谁为情，游子值颓暮。”他在《过白岸亭》中说自己想“长疏散”：“荣悴迭去来，穷通成休戚。未若长疏散，万事恒抱朴。”才说过注重内心的适意任情而视富贵如浮云不久，他很快又在《君子有所思行》中津津乐道地品味物质享受：“总驾越钟陵，还顾望京畿。踯躅周名都，游目眷忘归。市廛无厄室，世族有高闱。密亲丽华苑，轩甍饰通逵。孰是金张乐，谅由燕赵诗。”
该得遂了山水的乐趣吧，可又化不开远离政坛的忧郁；似乎找到了人生的归宿，却像又一次失落了自我；刚才还有“兼山贵止托”的充实，马上又浮起“沦踬困微弱”的空虚；是“宿心渐申写”和“始果远游诺”了吗？但又切切实实地感到“万事俱零落”的悲哀。
由于谢灵运是我国山水诗当然的开山鼻祖，人们乐意不遗余力地总结他诗歌创作的成功经验，而不愿严肃认真地去分析他创作中存在的失误，虽然屡屡叹惋他山水诗结构上的割裂，但总是把这个过错归咎于该死的玄言诗的影响。可是，只要看一看与谢诗同时产生的陶诗是那么浑融无迹，我们马上就会意识到把一个杰出诗人创作上的失误，仅仅归之于外在环境的影响未免失之粗率简单。多年来，我们习惯于把作品中的内容看成是社会现实和作家情感的反映，很少考虑到作品的形式结构同作家的情感结构之间是否存在着对应关系。艺术形式并不是一个放在某墙角里容纳艺术内容的瓷罐。诗歌内容的产生过程就是形式的形成过程，而形式的形成过程就是内容的实现过程。诗歌的形式结构与诗人情感之间的关系直接而又明显：艺术形式恰恰是诗人情感体验方式的符号化。谢灵运山水诗形式上的缺陷，必然起于他作为诗歌内容的情感的缺陷。因为他山水诗中的情感只有通过形式结构展现出来，同时，它又在一种更深刻的意义上制约着形式结构，并作为艺术的内容直接被纳入形式本身，诗歌艺术形式结构的破碎割裂，自然昭示了他自身情感结构的矛盾分裂，反过来说，正因为他情感结构的分裂，才导致他诗歌形式结构的割裂——本文就是围绕这一论旨展开的。
因为不知道何处是自己的真正归宿，所以无论是在政坛，还是在山林，无论是在群居，还是在独处，他时时处处都感到无所适从。羁留政坛觉得政治扭曲了自己的本性，身处山林又感到寂寞难熬。政治既不合他的胃口，山水也不是他的知音。一个本来就没有获得自我的人，一个情感结构分裂矛盾的人，在山水中也不可能发现自我，完整和谐的山水与他之间自然不存在任何契合点，因而难以将自己对象化于山水之中。这样，山水与他之间永远是对峙的，描绘山水与表现情感不可能同一，这使他的山水诗在描绘山水之外，还要另发一套与山水毫不相干的议论。于是，诗人自身情感结构的分裂，造成了诗人与山水之间的分离，并进而造成他笔下山水诗艺术形式结构的割裂。
他企希归隐向往山林的心情很复杂，既有不满刘宋王朝对自己的政治待遇，以此显示不愿与新政权合作的愤激，也有对隐逸本身那种逍遥生活的羡慕；既有远灾避祸以求明哲保身，也不可否认其中含有对独立不移的个体人格的追求。“人生谁云乐，贵不屈所志”，很容易使人想起“三军可夺帅也，匹夫不可夺志也”的儒家遗训。《登永嘉绿嶂山》说：“《蛊》上贵不事，《履》二美贞吉。幽人常坦步，高尚邈难匹。”四句诗中两处引用了《周易》中的典故，《周易·蛊卦》上九：“不事王侯，高尚其事”，同书《履卦》九二：“履道坦坦，幽人贞吉。”诗人用典的本意在于表白自己“不事王侯”的孤高脱俗的操守，所以诗后四句接着说：“颐阿竟何端，寂寂寄抱一，恬如既已交，缮性自此出。”他甘愿不为人知地抱朴守道（“抱一”）。也不愿“丧己于物，失性于俗”。
宵济渔浦潭，旦及富春郭。定山缅云雾，赤亭无淹薄。溯流触惊急，临圻阻参错。亮乏伯昏分，险过吕梁壑。洊至宜便习，兼山贵止托。平生协幽期，沦踬困微弱。久露干禄请，始果远游诺。宿心渐申写，万事俱零落。怀抱既昭旷，外物徒龙蠖。
刘宋王朝两次命他做京官，一次是在宋武帝刘裕的时候，一次是在宋文帝刘义隆的时候，每次他都没有拒绝朝命，而且还为这两位皇帝的登基大唱赞歌，所以方虚谷尖锐地指出：“灵运之为人，非静退者。”但如果说他没有一丁点企希山林的念头，恐怕连谢灵运自己也感到冤枉，他的诗集中差不多首首有钦羡嘉遁的句子。令人费解的是，在东晋还未“禅让”时就多次表白早存退隐宿心的谢灵运，居然还会接受新王朝的朝命。事后他辩解说自己本来“偶与张邴合，久欲还东山”的，只因为“圣灵昔回眷，微尚不及宣”。言外之意是在朝做京官实属身不由己的感恩图报，徜徉山林才是自己的本心。有一次他还说自己同官场的气氛很不协调，深感自己像被囚禁起来的小鹿。谢灵运身为朝官却“意不平”，“多称疾不朝直，穿池植援，种竹树果，驱课公役，无复期度”。
生长于特殊家庭环境的谢灵运，对晋宋易代的政治气候非常敏感：“鼻感改朔气，眼伤变节荣。”（《悲哉行》）刚演完受禅把戏的刘宋王朝，对他这个东晋数一数二的世胄子弟恩威并至，一方面将他的封爵由公降为侯，一方面又起用他为散骑常侍和太子左卫率。此刻，如何与这个新王朝相处这一难题摆到了谢灵运面前，明末张溥对他在这个问题上的态度很不以为然：“涕泣非徐广，隐遁非陶潜，而徘徊去就，自残形骸。”谢氏之所以在改朝换代之际“徘徊去就”，是由于这个问题涉及人生道路的价值抉择，而恰巧价值委身问题又困扰着他的一生。谢灵运的时代，汉代传统的价值规范和人生信念受到了普遍的质疑，而新的价值规范还在形成之中，他在这样的文化背景下汲取各家各派的学说思想时，自然难存信奉和践履它的虔诚感。他常常景仰提倡自然无为的老庄，在山水诗中也禁不住谈玄论道；又不时远瞻外域的释伽牟尼，乐于同佛教徒一起论佛译经，《辩宗论》至今还被认为是佛教史上的宝贵资料。综观其一生的行藏出处，他又远没有看破红尘或无为淡泊，倒更近于一个不能忘情俗务的儒家弟子。这种文化构成的驳杂而又缺乏主导信念，没有办法让他确立一种价值规范作为自己安身立命的行为准则，找不到何处是自己的精神归宿：是争取像祖辈那样在政治舞台上大出风头，还是终生享受遨游山水的乐趣？是满足现实的物质欲望，还是去过一种淡泊的悟道生涯？是迎合世俗以邀时誉，还是虔诚地去追求某种人生的永恒价值？
