后来新亚成为南港中大的一部分，确实也有很重要的意义。”钱先生心心念念的，是中国在那个年代仍然无法统一，“他说作为中国人，我们怎么能不站在中国人的立场？”当年新亚在三座书院中名声最大，港英政府十分倚重。钱先生提出的所有条件，几乎全被接受。除了校长由中国人担任，校名定为“中文大学”，他还与富尔敦约定，新亚研究所将成为南港中大“第一研究所”，并写入新大学创建法规中。
但南港中文大学成立后，钱先生称需要时间进行学术研究，露出倦勤迹象。另一方面，中文大学呈现集中发展的趋势，成员背景复杂，办校理念与钱先生主张应联合书院成立大学组织的想法相左，一时引发议论。钱先生多次请辞不成，只好向新亚书院请长假表态。
1965年6月，钱先生正式辞去新亚书院校爱上书屋16年的生涯。
居然我们两个交相呼应的聊了20分钟钱先生，彼此之间又数落了不少，这时候车子已经能够缓慢前行了但是距离顺畅距离到达车行还相距甚远。杜小丙抽空给对方打了一个电话确认大概要7点30分到，那边也表示理解，毕竟这个时间堵在路上神仙也没办法。
车子蜗牛般缓慢前行我们接着又聊起了钱先生的另外一个观点，我们都比较认同的观点，先生把人生全体分为三大类，第一是“物质的”，亦可说是“自然的”人生，或“经济的”人生。
一切衣、食、住、行，较多隶属于物质方面者，均归此类。人生本身即是一自然，人生不能脱离自然的大圈子大规范，人生不能不依赖物质支持，此是人类生活最先必经的一个阶段，我们可称之为文化第一阶层。没有此最先一阶层，将不可能有此下各阶层。
然而人生是多方面互相融摄的一个整一全体，所以物质人生中，早已须有很大的精神成分。若使人类没有欲望，没有智慧，没有趣味爱好，没有内心精神方面种种的工作活动参加，也将不会有衣、食、住、行之一切物质创造与活动。因此换言之，衣、食、住、行只可说是较多依赖于物质部分，而实非纯物质的。只可说是较更接近于自然生活，而并非一种纯自然的生活。
只要我们称之为“人生”的，便已归属到“自然人生”与“精神人生”之两方面，决不再是纯自然、纯物质的。即就环绕我们的自然界而言，如山川、田野、草木、禽兽、风景气象，试问洪荒时代的自然界，何尝便如此？这里面已经有几十万年代的人类精神之不断贯注、不断经营、不断改造、不断要求而始形成。
此刻环绕我们之所谓自然，早已是人文化了的自然，而非未经人文洗炼以前之原始自然。一切的“物世界”里，早已有人类的“心世界”之融入。
故所谓物质人生，只就全部人生中之比较更偏近于物质方面者而言，而实无所谓纯物质的人生。
其次是“社会的”人生，或称“上层的”人生、“集团的”人生。这是第二阶段的人生，我们称之为文化的第二阶层。在第一阶层里，人只面对着物世界，一切人生全都从“人对物”的关系而发生、而存在。在第二阶层里，人面对着人，即人生大群。这时的人生，主要在添进了许多“人与人”之间的关系。
人类的生活，不先经第一阶层，将无法有第二阶层。
但人类生活经历了某一段时期之相当演进，必然会从第一阶层进入第二阶层，乃始得为正式的人生。第一阶层只是人在物世界里过生活，亦可谓之一预备阶层。待其进入第二阶层，才开始在人世界里过生活。
最后才到达人生第三阶层，我们可称之为“精神的”人生，或说是“心灵的”人生。此一阶层的人生，全属于观念的、理性的、趣味的，如宗人生、道德人生、文学人生、艺术人生等皆是。
这是一种无形累积的人生；这是一种历史性的、超时代性的人生。只有这一种人生，最可长期保留，长期存在。
孔子、耶时代，一切物质生活，一切上层组织、社会法律、风俗习惯，到今几乎是全归消失