钱穆在素书楼讲史、谈经、作育英才，老人家一口无锡官话，神采飞扬，从不带课本，客厅为讲堂，正式修课的研究生依惯例坐在钱穆身旁的圆桌，旁听者自行觅座。讲课固定每周一下午四时至六时，但总是提前半小时开讲，延后结束，座无虚席，成为台北重要的文史沙龙。

素书楼讲学期间，钱穆常常烟斗在手，触类旁通。有人在"素书楼"听课，一听就是二十多年，前后五、六代学子同堂，接受国学大师亲炙。钱穆常以是否常读书训诫子弟，要求后进留意厚积而薄发的道理，不要年轻时轻易发表作品，到了年长学问贯通后才后悔。

知名史学家严耕望回忆，钱穆教导学生立志宏大，拿出气魄与意志，做个领导社会、移风易俗的大师；否则学术局限一隅，纵使当代是第一流学者，回归历史之后，仍是第二流学者。他说，五四一代的学者迅速成名，学术却谈不上；清华一代的学者有成绩，却太早当上教授，过舒适日子，谈不上大成就，反不及以一生精力做一本书，才能切实与不朽。

好棋、好箫、好抽烟、好甜食，但"好诗而不能诗"的钱穆，在素书楼度过一段平静而丰富的岁月。自十岁养成的烟瘾无法戒绝，身体尚硬朗，唯独在新亚任教时期越发严重的胃溃疡毛病困扰他，1977年冬季，钱穆胃病发作，几乎不治。

1978年，困扰他十余年的黄斑变性症眼疾剧烈发作，无法正常视物看书，前后开了三次刀，还必须静养半年等待视力恢复，却没有大成效；加上胃疾转剧，因此钱穆兴起口述录音写作自传的念头。

是以视力受损后，在胡美琦协助下，钱穆仍先后出版《历史与文化论丛》、《从中国历史看中国民族性及中国文化》《中国哲学史》、《中国通史参考资料》、《八十忆双亲、师友杂忆》、《宋代理学三书随达札》等著作。

1979年8月，钱穆偕夫人赴港，参加新亚书院创校三十周年纪念，新亚正式成立"钱宾四先生学术文化讲座"，钱穆除重新赴港讲学，也将所着《朱子新学案》原稿赠送中大的钱穆图书馆，实现了离开新亚时的承诺。

1980年夏，钱穆再赴港，与留在中国大陆的儿子钱拙、钱行、钱逊和幼女钱辉(晦)欢聚一周。钱穆相当自责对子女没尽到责任，对于幼女因他的缘故受委屈，格外感到愧疚。

未料这次团圆后一年半，长子钱拙即因淋巴癌去世，钱穆回台后又面临外界质疑他是否已返回大陆探亲。

1981年借着侄子钱伟长与长女、中国工程院院士钱易到香港学术演讲的机会，在新亚书院院长金耀基的安排下，年过八十的钱穆再度赴港探亲。见到数十年未见的长侄、长女，一起在中文大学宿舍共度天伦两周，让钱穆相当激动。对于几名子女经历的艰苦，他勉励钱易，"吃些苦没什么"，"只希望能做好一个中国人，用功读书做学问"。

钱穆格外记挂钱伟长，据钱穆回忆，这位曾任清大副校长的侄子，是他母亲在子孙辈中特别细心教养的，钱伟长的父亲更是他毕生敬仰的长兄。因此当年在苏州教授国文时，家中人丁凋零，长兄又辞世，钱穆特地把读高中的钱伟长带在身边念书。

钱伟长的名字还是钱穆取的，袭自晋代建安七子徐干的字"伟长"，希望他见贤思齐。钱穆年轻时与钱伟长同在灯下读书，钱穆母亲一旁缝纫伴读，更是钱穆老年相当纪怀的一个画面。叔侄两人情谊深厚，却数十年无法相见，又听闻钱伟长曾被戴上右派的帽子，让钱穆相当挂念，此番探亲终于了了个大心愿。

1983年4月，北京大学教授朱光潜应邀来香港，参与中文大学"钱宾四先生文化学术讲座"，讲授"维科的新科学"。钱穆为一会故友，顶着年迈身躯，再次赴港，场面至为感人，也看得出钱穆的真性情。此行恰逢钱伟长夫妇也到港参加学术活动，一家人又有了欢聚的机会。翌年，钱穆借着到港过九十大寿的机会，四度与子女团聚。