未料不过半年，学校尚未开课，即传出校长和董事会的关系达危险程度，林语堂可能离开南洋大学。1955年4月1日，林语堂和教授集体辞职，一个星期内，董事长陈六使签发总值马币三十万余元的十三张支票，作为林语堂和教授群的补偿与遣散费，林语堂随即搭机飞往法国巴黎。

就在林语堂离开新加坡后，美国《时代周刊》揭露内幕，指这起表面上起因于经费和教育方针的争执，实际上为思想斗争的战场。紧接着，林语堂于1955年5月2日出刊的《生活》杂志发表长文，表明自己是"被迫辞职"，之所以没有立即向大众说明真正原因，是因为他和家眷"有残遭共党枪手暗杀的危险"。而且林语堂指出，在他辞职前后的几个星期中，"我们住在新加坡就有英国警察的特别保护"。

南洋大学事件让林语堂耿耿于怀，且终其一生对于无法将南大建成一所具有国际水准的大学感到不平。

离开新加坡后，林语堂外表依旧坚强而幽默，夫人廖翠凤则一度因南大风波而精神衰弱，于是夫妇俩暂时旅居法国坎城，随后数年持续悠游于欧美，他曾于1955年夏天，带着妻子、幼女与甫离婚的长女，在欧洲进行所谓"林语堂式的漫游"，感情丰沛的他在莫扎特墓前流下激动的眼泪。

直到1958年10月，林语堂伉俪才应中央日报社长、昔日厦门大学学生马星野之邀，首度赴台湾"认识祖国的情况"，距离他上次返回中国土地已十四年，但这一次，林语堂只能在台湾与故乡闽南隔海眺望。

为表示对林语堂的推崇，蒋介石当天派出何应钦、蒋梦麟、罗家伦和曾虚白等政界、学术界人士数百人接机，另有厦门大学校友会、圣约翰大学同学会与林氏亲友多人，接机场面之热烈，廖翠凤还一度遭人潮冲散。第二天出刊的报纸形容，林语堂接机是继胡适之后，欢迎学术界人士"归国"情况最热烈的一次。

虽然是第一次赴台，但台湾的闽南乡音，让林语堂难忘，情不自禁透露期盼落叶归根，希望在阳明山觅地终老的心愿。

正值金门炮战紧张之际，蒋介石夫妇仍抽空在官邸会晤林语堂，与林语堂大谈红楼梦考证的问题。国民党政府且借机会，给予林语堂一项新职"外交部顾问"。

林语堂结束短暂访问返美后，对美国政界兴起"两个中国"的说法相当不以为然，多次激烈批判，指美国观念错误，不了解中国人。他说，美国人想搞两个中国，不但"不了解蒋介石"，"也不了解毛泽东"。

与共党间的恩怨，不仅拉近幽默大师与国民政府的关系，也改变他的宗教观。年轻时，身为牧师之子的林语堂，很早就展露布道的能力，一度以牧师为未来志业，妻子廖翠凤也是信徒。但在大学求学以及创作的历程中，人道主义的精神慢慢改变了林语堂，原本坚定的信仰起了动摇，加上对一些传道人在礼拜堂的"狂言乱语"反感，决定和有组织的宗教脱离。

但矢志不信仰宗教三十年后，林语堂又于1959年重行皈依基督教，美国合众国际社的报导指，这是因为林语堂认为，"随着唯物主义的进展，人们失去了约束，失去了对神的恐惧"。

1965年7月，林语堂夫妇在美国纽约庆祝七十双寿，在诗词酬应间透露将离开美国的讯息。1966年，大陆掀起文化大革命，蒋介石发动文化复兴运动，敦促各文学大家、学界大师来台定居，凝聚台湾成为中华文化的中心，终于进一步促成年高七十二的林语堂下定决定离美来台。

他先是二度访台，同年六月返台定居台北市郊风景秀丽的阳明山上，并以客卿身分与蒋介石相处，推辞国民党政府的官爵。仰德大道二段141号新居，是两蒋政府的礼物，由林语堂亲自设计，台湾第一代建筑师王大闳建造完成。