甚至有"笑傲江湖"形象的作家李敖指出，他在台大曾听过林语堂讲授《红楼梦的考证》，林语堂的"玩世不恭之态，溢于言表"，笑嘻嘻的颇可爱、甚可法，因此李敖从此摇身一变，决定以幽默大师的面目面对世人。

但实际上，林语堂自律甚严，内心有其严肃之一面。大师胡适在林语堂年轻时取笑他是"清教徒"，不但不饮酒、不近女色，还会去作主日学。林语堂的"烟斗"同志、美食作家唐鲁孙说过，林语堂虽然爱笑谈，细细咀嚼他的话，都有高深哲理，而且言行表里如一。

为集中精力创作，关于教书、演讲、应酬等外务，林语堂是能避则避。曾有记者问他如何写出让读者百看不厌的作品，林语堂的答案很传统，一是写出的东西必须是心得之言，其次是肯用功夫。

林语堂作学问之用心，他的二女儿、前读者文摘中文版总编辑林太乙于《我的父亲林语堂》一文指出，林语堂每天早上六点多就开始看书、写作一直到午后二时，下午休息之后，再从晚上八时工作到子夜，而且林语堂的书房里有二、三十部各种各样的字典、辞典和百科全书，偶然碰到不尽知道的字就查。

又如他在西方最畅销的著作《生活的艺术》书中，以个人经验陈书中国人的生活观，不仅成为全美畅销书冠军，在美国纽约时报畅销书排行榜上，更稳居榜首达五十二周，美国印行超过四十版。可是在光鲜外表的背后，却很少人注意到，林语堂在全书完稿后，仅因为写序言时，感觉原先由批判西方文化入题的方式，不甚理想，就把两百多页的稿件全部毁弃重写，才把东方儒家、道家潇洒与积极入世的人生观，写得如此传神而富吸引力。

也有友人说，林语堂写作时从不正襟危坐，而是舒舒服服地躺在靠椅中，两脚放在面前的矮桌上，捧着一本硬皮的笔记本，一页写字，一页留白。一杯咖啡，一根烟斗作伴，写累了他就在靠椅中小睡，醒了又继续写。有时他也躲在房里的床上抽烟斗，但从未大意烧坏枕头或被单。

七十岁在香港始与林语堂有深交的国学大师钱穆曾撰文提到林语堂的一段小故事。他记忆中抗战时在成都初次与林语堂见面，林语堂就是两指夹着烟卷，一面抽烟，一面谈话，烟卷积灰渐长，林语堂谈话不停，手边附近又没有烟灰缸。钱穆一面看着，一面担心若烟灰掉落，将有损主人地上美丽的地毯。林语堂似乎漫不在意，且直到烟灰已长及全烟卷十分之七的程度，"却依然像一全烟卷，安安停停地留在语堂的两指间"。

后来他与林语堂相交久了才了解，"我行我素"只是林语堂的外相，"但语堂另有他内心之拘谨不放松处"，"语堂之幽默，在我认为，尚不专在其仅抽烟卷之一面，乃更有其烟灰不落之一面"。

不过在林语堂八秩大寿前，因健康的理由，还是毅然戒掉叼了数十年的烟斗。这不是林语堂首次戒烟，不过前一次，他只戒了三星期。

在家庭生活方面，除了父亲与奶奶外，林语堂毕生感谢二姐美宫。

由于家境不好，林语堂到圣约翰大学的学费是借贷而来，牵累到也从女子中学毕业的二姐林美宫，因男女之别，二姐无法如愿去福州升学，只能下嫁到山城。二姐掏出四角钱当作川资，对他说，"二姐是没有希望了，你要好好的读书，要成名"，让林语堂相当内疚。没想到隔年，怀孕的二姐感染鼠疫病故，从此后，只要提到二姐与那四角钱，林语堂都不免流泪，他说，"我青年时所流的眼泪，都是为她而流"。

林语堂与妻子廖翠凤，一生紧密相依，即使到了老年，两人也不离不弃，文坛传为佳话。夫妇俩有女儿三名，长女林如斯、次女林太乙都走文学路，幺女林相如学科学。生了三个女儿后，林语堂说不在乎传宗接代，廖翠凤就做了输卵管结扎手术避孕。

不过在认识廖翠凤之前，林语堂原钟情于厦门名人陈天恩医师的女儿陈锦瑞，加上与陈锦瑞的二哥、三哥都是同学，有近水楼台之便。据林太乙记载，陈天恩不能接受这个不笃信基督教的小伙子，因此将林语堂介绍给厦门富商廖悦发的女儿廖翠凤，这是林语堂第一次受到失恋打击。

与徐志摩和张幼仪的背景相似，林语堂是廖翠凤的哥哥廖照超的好友，两人是圣约翰大学同学，林语堂的姊姊也是廖翠凤在毓德女校的同学。相亲前，家人探询廖翠凤意愿，提及"林牧师家是没有钱的"，但廖翠凤说，"没有钱不要紧"，于是定下这桩好姻缘。