鲁豫曾经访问过李敖，访问地点在他的书房，当时记忆最深的是一屋子的书，十几个高达天花板的书架，一层层全摆满了书，访问完之后，鲁豫问大师：这些书您都看过吗？他斩钉截铁的回答：不但看过，而且全都记得，你随便抽一本书考考我，我不但可以回答你的问题，还可以说出是哪一本书的哪一页！没想到若干年后，鲁豫再次有缘走进大师的书房，只不过大师已经把书房从台北市区搬到了阳明山上。

李敖位于阳明山的新书房藏书多不胜数，但井然有序，台上没有一丝灰尘，他表示所有的布置、打扫及日常的起居饮食都是自己一个人搞，妻子、孩子居住在台北市区的豪宅中，他平时多数在此居住，周五才会回去聚天伦之乐。对于前妻胡茵梦，李敖似乎仍然耿耿于怀，对于前妻的批评仍然严厉，但是他不否认前妻的美丽。他说“轻易跟男人分手的女孩太笨了，像胡茵梦就后悔了吧，像现在我还好好的。我结婚到现在，儿子16岁，女儿14岁，认识太太(现任)20多年了，可胡茵梦就不敢再结婚了，钱都被人骗了，她只赚一点讲课的费用。我对她很宽容了，我到现在还夸她美丽，胡茵梦穿洋装、中装都好看，她很夺目”。对于多年后仍在谈前妻，李敖说：“她使我浑身受伤！她漂亮，可是邪恶！她50岁生日，我送了50朵荷兰的玫瑰花，花了我8000多块。用意是提醒她美女50岁了。”