有一回，潘光旦和一个朋友说到葫芦。潘光旦当时在宾馆的床上躺着，顿时就坐起来了，突然问朋友是否记得他的书房里有个什么特别的东西。朋友一听就明白了，他种出了两个并蒂的葫芦，挂在书房墙上当宝贝看。但朋友装糊涂，说满屋子都是书啊。潘光旦点头，问还有呢？朋友说有个大砚台，还有个笔架，挂着大小的毛笔。潘光旦又问朋友，那墙上还挂着什么呢？朋友知道不能再装了，赶紧说，还有您的“镇宅之宝”，一对葫芦啊！墙上挂的匾好像是“双葫芦斋”？
在潘光旦看来，优生学是研究人类品性的遗传与文化选择的利弊，以求达到比较优良的人类繁殖方法，可以谋人类之进步。
潘光旦认为解决问题的基本途径不在政治、经济、社会的种种安排，而在教育。我们“毕竟是中国人，将来是要为自己的国家做些事的。读洋书与去国外，只是为达此目的而进行的一个手段”。他主张大力提倡通才教育，革除把科学偶像化的教育，重新认识科学的真正性能：存疑而不武断，宽容而不排斥，通达而不蔽锢。此外，潘光旦还旗帜鲜明地提出“人文学科必须东山再起”的观点。
到了抗战时期，潘光旦仍然坚持这一观点。他在《自由之路》一书中，把自我认识和自我控制当作争取自由的两个先决条件。他认为只要具备这两个条件，自由就会不期而至，任何人剥夺不了。不具备这两个条件，即使调子再高，也是空谈。
这是他很开心也不乏幽默的一件事。
潘光旦是学行合一的一个人，他不仅读书和做学问，而且还要使自己的学问和行动能够直接有益于国家、有益于民族、有益于社会。他刻在自制烟斗斗腹上的十二字铭文，其实正是他本人最恰当的写照：“形似龙，气如虹，德能容，志于通”。
潘光旦很注意生活情趣。战时在昆明，他也会营造书房的氛围。一张大书桌为自制——两侧用包装木箱横竖叠加成桌脚，上架两条长木板为桌面，一如裁缝师傅的工作台。台上备有文房四宝。还有拾来的石头和竹木制品做小摆设。因房子四面有窗，他命名为“四照阁”。苦中作乐，不乏文人雅士情调。虽寄人篱下，但环境挺幽雅。他用隐士蟹寄住螺壳比喻，作一联，送给前来看他的学生李树青，联语是：
潘光旦（1899.8.13—1967.6.10），江苏宝山人（今属上海市）。原名光亶（后以亶字笔画多，取其下半改为光旦），又名保同，号仲昂，社会学家，优生学家，民族学家。1927年参与筹设新月书店。著作有《优生学》、《人文生物学论丛》、《中国之家庭问题》等，另有译著《性心理学》等。
早在1930年，潘光旦就在一篇文章中说：做学问的目的，本来是让人们越来越多了解它，从而产生越来越大的影响。潘光旦认为，如果说西方教授已经是学问之大敌的话，那么中国的教授恐怕连这个资格也没有！之所以如此，主要有以下三个原因：第一，西方教授还能制造许多术语来唬人，但是中国大多数教授连本专业的术语也记不清楚。第二，西方教授还有本领加入某一派系，中国教授“除了介绍西方几本教科书以外”，根本不做真正的研究。第三，西方教授不经过十年或数十年的磨难和谨严的学者生活，是不会得到这个头衔的。
深厚的文化根底，使他的思想超越了一般的社会学范畴，而是洋溢着重人道的社会理想。他撰写了大量的著作，为自然科学和人文科学的典范之作。他通过家族的兴衰，揭示遗传和环境对造成人的优良品性的重要。他通过对美国、西班牙、古罗马和中华民族的历史比较研究，探寻一个民族兴盛衰亡的缘由。更重要的是他结合当时中国的实际情况，揭示了造成国人特性中所体现出的“私、愚、病、贫、乱”的民族病态的根源，指出要想民族振兴，民族卫生、民族健康和优生优育是最重要的出路。
幽默是潘光旦的绝活。他独足，当政协委员时外出视察，走路用双拐，叶笃义先生照顾他。有人取笑他说：“潘先生的立场观点都有问题。”他说：“不只如此，我的方法也有问题，我架的双拐是美国货。”他喜欢研究家谱，看了许多他姓家谱。有人送他一副对联：“寻自身快乐，光他姓门楣。”
在这篇文章中，潘光旦还谈到大学管理的另一个原则，那就是要“使教授们得到精神上的谧静。”因为“教授的任务，一半在教导学生，一半也在他的专门学问上继续用功夫，更求造诣的精到，而研究功夫的第一条件便是生活宁静。”这个意见不仅适于年长的教授，也适于年轻的教师。因为做学问和其他事情不同，它需要静下心来，排除杂念，钻研多年，才能有所收获。
庭虚待植美人蕉。
狼烟岁月业余生活贫乏，清华大学的职员们也喜欢打麻将，以致小偷乘空而入竟不知。作为教务长的潘光旦，写了一封信贴在他们客厅的门柱上，大意是希望他们玩要有“度”。又说：其实打麻将没有什么不好，娱乐一下也不错。我也喜欢打，偶尔玩玩，只是应当找个合适的时间。最后说如果各位有兴趣的话，不妨找个礼拜天，到舍下摸几圈如何。他这种幽默的批评，晓之以理，动之以情，大家会心一笑。从此，滥打麻将的现象不再发生了。
关于教育，孔子说：“大学之道，在明明德，在亲民，在止于至善。”蔡元培说：“教育是帮助被教育的人给他能发展自己的能力，完成他的人格，于人类文化上能尽一分子的责任，不是把被教育的人造成一种特别器具。”鲁迅说：“教育是要立人。”卢梭说：教育是培养“既能行动又有思想的人”。爱因斯坦说：“什么是教育？当你把受过的教育都忘记了，剩下的就是教育。”雅斯贝尔斯说：“教育是人的灵魂的教育，而非理性知识的堆积。”但在今天，我们的教育已经成为了一个问题，其最大的问题就是不自由，学习不自由，思想不自由。
他请李提意见，李便和他开玩笑：“此联是否已征得潘太太首肯？否则，我建议用‘寿仙桃’代替‘美人蕉’。”潘光旦开颜大笑：“原意在属对，并无金屋藏娇之意。”
还是在1930年，潘光旦在《教授待遇与今日流行之兼任讲师制》一文中就谈到这个问题。他说：“大学聘请教授，有一个很普通的原则，便是一个‘专’字。凡是在某行学问上有专长的，便有被聘请当教授的资格。这个原则是不错的。但是在大学方面，待遇起教授来，也应当有一个简单的原则，也便是一个‘专’字。凡是能专诚待遇教授的大学，他一定可以得到教授们的信任和努力。”可见，用“学有专长”的原则聘请教授，以“专诚”的态度对待教授，是大学管理者必须具备的一种素质。
潘光旦主张教育应当培养出“士”的情志，平时牢守“士不可以不弘毅，任重而道远”，危难中体现“见危授命”、“士可杀不可辱”的志节。针对我们民族的弱点，潘先生还提出了许多有益的建议：生育节制，生得少、生得优，而且都留得住；增益民族身心品性中刚劲的成分等。
潘光旦眉飞色舞起来，说不对，叫“葫芦连理斋”，然后就讲开了。他说自己的专业是优生学和遗传学，有点冷门，不受重视，但这是基础科学，跟人们身边的植物、跟人本身都有关系。所以留美时他选修了生物学，拿不到学位也不在乎，读了四年。1934年，他到清华大学任教，家门口有个架子，他就种上藤萝和葫芦，让它们攀援，夏天可以乘凉。
潘光旦从优生学的理论出发，对中国国民性进行了深入透彻的解析——“中国民族有许多弱点，其中最叫人失望的是利己心的畸形发展和利他心的薄弱。”（这是一些愤青们最不愿意听的。）
1932年，潘光旦就在《教育与成见破除》一文中指出：“教育有两大目的，一是教人认识自己，尤其是认识自己在能力上的限制，二是教人破除成见，少受些成见的蒙蔽。”他认为，由于我们总是把精力放在学制调整、课程设置方面，不重视认识自己、破除成见的问题，因此培养出一大批毫无判断力的青年。这些人在学校学会了道听途说、鹦鹉学舌的本领，出了学校以后，就只能是随波逐流、人云亦云了。
过两年，奇迹出现了，冒出了一对并蒂的葫芦，头靠头地长在一起，这很难得。潘光旦说他起初担心这两个葫芦长不好，哪知道它们很争气，长得差不多一样大，而且身形、圆度、腰围都很均匀。他觉得这是对他学习生物学的最大回报。有人问他为什么生物学系的师生种不出来，潘光旦的回答很得意，一是因为生物系的师生都关注更有研究价值的动植物，对葫芦没有兴趣，另外就是他们没有学好优生学。
潘光旦是跛足，在清华的时候，独腿成了他的一个特征而名声在外，但没有人会感到他的残疾。他行动敏捷，轻松自在，还把自己架拐行走当成笑话来说。有一次下雪，一个小男孩看到潘光旦拄拐在雪地上留下的印迹，以为是什么小动物，跟踪脚印直到发现潘光旦。他说他在校园里发现好几回这种脚印，又不像什么小狗小猫，原来是你啊！潘光旦回家就把这个故事讲给家人听，还夸奖这孩子有寻根问底的劲头。
为了让学生认识自己，少受蒙蔽，他在《完人教育新说》中指出，学校应该提倡“价值意识”的教育。这种价值意识的培养，可以让人识别真伪，区分善恶，分辨利害。这就是说，如果只有大量知识而没有价值意识，就不会有辨别是非的能力，就会被各种各样的成见所蒙蔽。
他在学术上有一种很博大的气魄，他不愿意人们称中国为“老大之中国”，他说：“如果‘老’字指的是历史、文化、语言文字，那还可以，假若是指民族，我就不敢苟同了。”他的心中同样有着一个少年中国，只是这个少年中国发育还不很健全！（这是何等的青春心理。）
1926年潘光旦回到上海开始了教书，他在国内创设了优生学课程，主编了《优生月刊》。教书之外，他关注着社会，为中国找寻出路。他认为中国民族在根本上有大危险，中国不缺人，缺的是心理健全、身体健康、资质聪颖的社会分子。一个民族要想富强就要优生，不是数量多少的问题，而是质量高低的问题。他认为，生育孩子不仅是一个家族的使命，更是社会的安危所系。
潘光旦认为弄清楚教授与讲师的区别特别重要。所谓教授，除了给学生上课之外，更重要的是要在日常生活中用自己的人格来影响学生。也就是说，真正的教授是不能屈从于世俗社会，每天为应酬而吃吃喝喝、为挣钱而跑来跑去的。正因为如此，潘光旦在这篇文章中说：“学校应当使学生和教授的人格有密切的接触。要有这种接触，第一条件也便是要使教授获得精神上的宁静，因为不宁静，人格便不能充分表现。”他还说，由于名牌教授有限，许多大学争相邀请，这就使他们每天疲于奔命，根本没有时间去做学问。至于学生，也只能在课堂上见上一面，下课后根本没有接触机会。因此他认为，这种“东也讲一次，西讲也一次，讲一次算几块钱，讲完了就走”的教授，完全是赚钱机器，在教学效果上，与留声机类似；在人格取向上，与走江湖的艺人没什么两样。
近代以来，帝国主义列强的欺辱使中国面临着亡国灭种的忧患，有识之士无时无刻不在寻找救国保种的道路。潘光旦先生逝世20周年时，费孝通曾说潘先生一生的学术，最基本的目的是“强国优种”，从德智体三个方面开展研究，希望能提高中国人的根本素质。
因潘光旦行走用木拐，朋友徐志摩戏言“胡圣潘仙”。胡圣，指胡适；潘仙，指潘光旦，比喻他为名列八仙之一的铁拐李。他还喜欢旅游，挑战自我，“到人不到”之处，偏干一些常人认为肢残人干不了的事。在西南联大演讲时，他讲到孔子时说：“对于孔老夫子，我是佩服得五体投地的。”说着，他看了一眼自己缺失的一条腿，更正道：“讲错了，应该是四体投地。”引得同学们大笑。
或许是为这个民族前途的忧虑，也或许是个人遭遇的感慨，潘光旦在美国选择了生物学、遗传学，并专攻了从生物进化论和遗传学推演出来的优生学，他同时广泛涉猎心理学、文学、哲学等领域。
闻一多是潘光旦清华求学时的挚友，原名闻多，在一次闲谈中，潘光旦半开玩笑地向他建议，在名字中间加个“一”字，闻一多听后非常高兴，逢人便说我现在叫闻一多啦，就是这个闻一多，在知道潘光旦学习优生学时，对他说，你研究优生学的结果，假使证明中华民族应该淘汰灭亡，我便只有用手枪打死你。
这篇报告就是22岁的潘光旦写的《冯小青考》，今天这已是中国现代学术史上的经典著作。冯小青是明代才女，但却红颜薄命，她的死因后人众说纷纭。潘光旦借助西方性科学的原理，对冯的死因作了分析，得出了冯小青是死于她病态的“自恋”。这在对“性”讳莫如深的中国社会里，可谓惊世骇俗。《冯小青考》是潘光旦借助近现代科学理论对中国传统文化进行剖析的一次实践，也是近现代国人对这个古老民族人性深处最初的科学探索和思考。
可以说潘光旦是在近百年中国里，最早在科学的基础上提出“优生优育”的学者。
1922年，梁启超在清华开了一门课《中国历史研究法》，学期末，潘光旦向老师交了一篇读书报告，梁启超看后，写了这样一段批语：“以你这样的才华，你研究什么就会有什么成就。”
1940年，潘光旦教授在西南联大任教务长，他同时研究优生学与心理学。当时云南多鼠，潘教授深受其苦，只好张夹设笼进行捕捉。一日捕得硕鼠10多只，便斩头剥皮，弃其内脏，然后洗净切成块状，请夫人做成莱。夫人皱眉问道：“我们伙食虽不算好，也常有鱼有肉，今天为何叫我做这苦差事？”潘光旦解释道：“我这是为了学术研究，请你一定要帮助我。”夫人无奈，只好勉为其难。夫人一向善于治馔，煮熟后果然甘香扑鼻。教授大喜，随即邀来共同研究心理学的同事和学生数人，诡称偶获野味，欲与诸位分享。鼠肉端上桌来，潘先生带头大嚼，众宴客亦举着共食。然而咀嚼再三，竟不辨是何动物。一客问道：“此肉细嫩，味道鲜美，但不知是何野味？”潘光旦笑答道：“鼠肉。”此二字一出，想再吃一块的忽然停住了筷子，嘴里正在咀嚼的吐了出来，还有紧锁双眉、喉痒欲吐的，潘光旦一再保证，其中绝无有害健康的物质，并以身作则，继续食用。但无论他怎么劝诱，直至餐毕，终无问津者。潘教授大笑道：“我又在心理学上得一证明。”
螺大能容隐士蟹，
由此可见，仅仅掌握大量的知识，非但不能改变自己的命运，而且还会陷入被蒙蔽的境地。
