1954年，林语堂应新加坡华侨的邀请，出任筹建中的南洋大学校长。林语堂带着次女林太乙夫妇协助其办校，雄心勃勃。但到新加坡不久，林就发现学校的工程并没有按照他的计划进行，而且，经费严重不足，发起人、橡胶业巨富陈六使承诺认捐的170万美元变成了40万美元，其他人则不愿支付认捐的款项。接着，有小报造谣说林是美国特务，浪费大学的钱，甚至说他英文蹩脚。林收到匿名信，声称他不辞职就要他的命。林家只能从为校长提供的独立住所搬进了公寓，林太乙告诉幼儿园的老师，除非她亲自去接女儿，不能让孩子跟其他人走，廖翠凤吓得精神差点崩溃。英国政府只能派一名便衣保镖跟着林语堂。接着，董事会拒绝林参加会议，并对林经费的使用提出质疑，甚至要求他开列准备购买的九万本图书的书名和作者清单。林对此忍无可忍，一周后与随其而来的11名教职员提出辞职，离开了新加坡。
抗战期间，林语堂的长女林如斯回到国内参加抗战，与军医汪熙凯相识相恋。抗战胜利后，二人准备结婚。不料，就在订婚的前一天，林如斯与一个美国同学的哥哥狄克私奔。当时，林家已经广发请柬，请亲友来参加长女的订婚宴，林颇为难堪。狄克是一个广告公司老板的儿子，初中便被学校开除，没有工作，长相平凡，但颇有口才。林语堂认为狄克靠不住，很为女儿担忧。果然，日后林如斯生活极不安定，常常迁居。1955年，林如斯与狄克离婚，两年后，生病入院。据林太乙回忆，这种病大概是官能性的毛病，由于脑部构造损坏所致。此后，林如斯“徘徊在接受现实与脱离现实之间”，好的时候便去工作，坏的时候则沉浸在自己的世界里，无论林语堂夫妇如何劝解都无济于事。后来，年迈的林语堂夫妇只能让女儿住在身边，便于照顾。1971年，林如斯投环自尽，林语堂伤心不已，五年后，他亦撒手人寰。林太乙说：“姐姐掏去了他的心灵。”
1933年，萧伯纳到上海，在宋庆龄的住宅与史沫特莱、蔡元培、鲁迅、宋庆龄、伊罗生、林语堂合影。这张照片多次刊于报端，但林语堂与伊罗生都被抹去了。直到宋庆龄去世，新华社重新发布这张照片时，才恢复了照片的原貌。
1943年，林语堂到西安孤儿院看孤儿们的歌舞表演，其中一位会跳舞又会弹钢琴的12岁女童引起了他的注意。他当即认养了这个叫金玉华的小女孩，并于抗战胜利后，几经周折将她带到美国。但因为金玉华哥哥及廖翠凤的反对，他未能收养金，只能任她回国。为此，林语堂伤心不已。
黎东方回忆，他和林庆年奔走几天，促使林语堂与新加坡华侨会主席陈六使坐下将事情谈开来。不料，刚开始谈话，林语堂便用一连串的“我问你”，将陈吓得由客厅退至厨房，从厨房由后门悄悄溜走了。黎说，这是林语堂的“真”，这种真是人格上的成功，但从事业上来说又当别论。
1947年，林语堂终于将“明快”中文打字机研发成功，他因此花去十几万美元。然而，由于打印机造价昂贵，且中国正进行内战，没有一个商人愿意生产。林只好卖掉了纽约的公寓和家具，用于偿还债务。此时，他准备去巴黎联合国教科文组织任职，就在准备离美时，他收到了美国税务局发来的信函，要求他缴清历年欠缴的个人所得税3万多美元，否则不能离境。幸好好友借给他一笔钱，再加上及时收到的《苏东坡传》的版税，才解了他的燃眉之急。
林太乙回忆，1938年，林语堂总共收入三万八千美元，全家开支及接济国内难民、亲戚花去一万二千美元。林语堂对中国货币有信心，1939年初，他用一万六千美金兑换了十万银元，存在中国银行；后又用两万三千美金兑换十三万银元，分别存七年、十年、十四年，预备每个女儿22岁时，都可以领得十万银元。谁知随着抗战的深入，国内通货膨胀越来越厉害，林语堂的几万美金变成废纸。
由于报纸歪曲事实，林语堂对新加坡的报纸耿耿于怀，尤其是《南洋商报》。林离开新加坡时，《南洋商报》的采访主任余敬豪在机场采访他，林问余是哪家报社的，听余回答是《南洋商报》，他顿时怒火中烧，双方紧握成拳，在余面前挥舞着喊道：“好！《南洋商报》，看这个！”
