林语堂的盛名之累还不止于此。1953年3月，台湾传媒一度大幅报导林语堂将为搜集写作题材访台，甚至在预告日当天，接机团浩浩荡荡一行人在机场等待大师，最后却是乌龙一场，隔天即有亲国民政府的报纸撰文称这是"幽默的预告"，甚至指幽默大师来也只是贩卖"幽默噱头"，因此"不来也罢"。

早在1940年，林语堂返回重庆访问相当短的时间，即宣布将返美，当时就有不少人批评他国难当头还要离开，是因为图安逸，或批评他舍不得在美国的家产。连他的大女儿林如斯也发出不平之鸣，且于1943年重返重庆，留在中国奋斗。唯郁达夫力排众议，强调作家要靠着著作才能证明自己，林语堂在美国积极为中国宣传功不可没，才平息这段纷争。

国民政府来台初期，林语堂对到台湾访问似乎缺乏兴趣。1954年，国民党政府将林语堂列入联合国第九届大会中国代表团的八位顾问名单内，即使有任务在身，林语堂也没有到台湾。直到1958年秋天他才首度访台。

1955年爆发的南洋大学事件，应是林氏夫妇态度转弯关键。

林语堂指出，新加坡的侨领因为不想让子女在中国接受共产思想训练，又担心子孙脱离中国文化，所以在1952年初，兴起筹组南洋大学。

1954年8月，林语堂应华侨陈六使与南洋大学执行委员会邀赴新加坡，就任兴建中的南洋大学校长。陈六使为马来西亚富豪，掌握全东南亚橡胶储藏，据林语堂的说法，陈六使富可敌国，对市场的影响力比起任何政府皆有过之，但他对政治一片空白，根本未料到创办南洋大学会引发政治问题。

这所由华侨集资美金四百万元兴办的大学，由于位在情势敏感的东南亚，开办之初就商定，校长除应具国际声望外，不宜由国、共任一方党员出任。正因内外情势复杂，胡适、钱穆等人纷纷推辞，直到校方派代表到纽约邀请时任中国驻联合国代表团顾问的林语堂，承诺未来会有足够经费与权柄支持，林语堂才首肯接任。

就任校长前，林语堂坚持理事会须给予具体保证，其中之一是"南洋大学应有一个非常单纯而无政治性的目标"，教授应享有绝对的思想自由；又要求理事会在1954年底和1955年底以前，至少分别筹集330万美元，陈六使不仅同意，而且承诺个人立即捐出170万美元。获得具体承诺后，林语堂着手规划校务，并将于联合国担任翻译工作的二女婿黎明挖角到南洋大学，出任他的执行秘书。

办校期间，先因为建筑与办校经费吵吵嚷嚷一阵子，继而政治气氛日趋紧张，毕竟林语堂不满左派与共产党是公开的事实，从而衍生一连串争议。

部分学校董事抨击林语堂在信中署年"中华民国四十三年"，且翻出1954年林语堂赴新加坡前，一则译自美国合众国际社的旧报导，批判林语堂说"南洋大学在对抗共产主义侵入亚洲非共党人士心灵的战斗中，将成为一个自由思想的前哨"等语，质疑他违反政治不介入的共识。

继而新加坡的《南洋商报》等中文报开始攻击林语堂，且林语堂接获将不利他生命的恐吓信，学校捐款也出了问题，大商贾捐款迟迟不到位，形成学校半数捐款来自新加坡踏三轮车的、理发的和街头小贩等最贫苦华侨的奇特现象。

但林语堂事后解释，所谓建立反共大学的说法并不正确，他在《生活》杂志发表文章澄清，当时是说要建立一个自由大学，"一个人们能够自己思索，对政治问题自由决定其主张的大学"。