钱穆故居位于台北东吴大学校园的西南角。1950年钱穆先生在香港创办“新亚书院”，1967年夫妇俩从香港迁居台北，第二年，搬入这里。为纪念母亲，钱穆将此楼命名为“素书楼”。从1968年起，钱穆先生在家授课，客厅即讲堂。至1990年钱穆先生因故搬出此楼，他共在此居住23年。

现在话说到了台北市士林区东吴大学旁边的钱穆故居。钱穆故居的以前的名字，叫做素书楼，这个三个字是钱穆自己写的，今天我来参观钱穆故居，并且就地讲一讲，有关钱穆的背景和故事。

……

这个房子是当年，蒋介石拉拢一些，有名的学者回到台湾来.他在南港中央研究院，就请胡适回来.胡适本来要自己盖房子的，蒋介石就说，中央研究院盖一个房子，当然那里就属于公家的，就胡适回来住在公家房子，可是胡适的汽车是自己的，他从美国运了一辆，二手货的汽车。后来就林语堂回来，蒋介石送他阳明山的那个房子，所以林语堂死了以后，这个房子就还给了台湾的政府。钱穆这个房子呢，是蒋介石为他盖的，可是产权不清，就属于台北市政府的，所以钱穆九十四岁的时候，台北市政府要回去，九十六岁搬家的。后来大概钱太太很生气，觉得被他们赶走了，可是钱穆大概临死的时候，都不晓得他已经搬家了，因为他以为他只是去，到外国去，就整个是这个情况。就是说那个的时代，蒋介石说把房子给谁就给谁了，可是那时候可能把手续上，办得不够清楚，就留下一个后遗症。后遗症就是最后，这个主人被扫地出门。可是我认为这个钱太太的反应，也太激烈了，当年她很不愉快的，在住了二十二年以后被赶走，她要把所有东西都要搬走。本来这个房子作为纪念馆，也好故居也罢，太单薄了，这一搬走的话更惨了。毕竟我们要纪念是人，也不是说要纪念这个建筑物嘛，建筑物本身其实没什么，那重要的是，曾经在这里住过的钱穆先生。

……

可是我觉得对我说起来，像我到了这个纪念馆，我的第一个感觉就是，这钱穆一定勾结了蒋介石，才有这个房子，这令我非常的觉得有这种感觉。就是我觉得跟蒋介石，勾结在一起的，大概都是会失掉他自己的很多原则。这是典型的例子，连一个，最后一个房子都不能保住，产权都不清，这个搞得这么一个有趣的现象。第二个作为纪念馆而言，这个钱夫人做得太赶尽杀绝了，我认为她应该把这些东西，不要一批一批搬走，最后连个什么床都要搬走，我觉得这种反应是太离谱了。所以我认为是，要加以谴责很荒谬，好像站在这个，这个钱穆的故居前面，说这个话好像很荒谬。这就是人生，我认识钱穆的时候，我只有十七岁，现在我已经七十一岁了。