「书」则为杜月笙的另一嗜好，听说书。「说书」这一行业在香港始终不能生根，要找一位说书先生可谓相当的困难，好在当时有一些「说书先生」也从上海逃难到了香港，杜月笙选了其中的四位：张建国、张建亭兄弟，蒋月泉和王伯英，他请这四位「说书先生」轮流的到坚尼地台杜公馆，每天一位，分别为他开讲「玉蜻蜓」、
喘不发，脚不麻，精神好，体力够，杜月笙随意思之所至，在香港有三桩消遣，其一是赌，其二是书，而其三是为唱。
「英烈传」、
不过在当时的杜公馆，姚玉兰、孟小冬以次，没有一个人具有杜月笙这个共同的嗜好，因此，当他一榻横陈，瞑目倾听「说书」时，往往房间里只有他一个人，充其量多上服侍他的徐道生，有时候万墨林、朱文德也来陪他听上一段。
赌，不仅规模缩小，而且输赢数目，亦无复当年的豪情胜概，由于精神体力之所限，杜月笙晚年居港，只能玩玩十三账罗宋牌九，为了凑兴，勉强陪他顽顽的，有当年的豪赌朋友朱如山、徐士浩、盛家老五盛泮澄、吴家元、张公权的令妹张嘉蕊。为什么祗打罗宋牌九？说穿了便是由于打罗宋可以少用脑筋，坐看不动，而且时间不长，随时都能结束。输赢虽不能与当年相比，但是一场进出也有个港币好几千。卽使打这种费力不多的牌，有时候杜月笙还会感到精神体力难以为继，于是喊杜美霞来代他接下去。
在这一段时期，杜公馆坚尼地台人客虽少，饭厅里仍然每天中午准备两桌饭。一张圆枱面一张四方桌，通常那张圆枱面必定坐得满，圆怡面坐不下了，再开方桌一席
「双珠凤」、
「唱」的场面比较热闹，曾有人谓「天下之歌，尽入杜门」，杜月笙自己身畔便有姚玉兰、孟小冬两位床头人，允称须生泰斗与冬皇，再则由于杜月笙一生酷嗜皮黄，他身边的人几乎个个都能哼几句，而且其中不乏佼佼者。坚尼地台杜公馆每星期五必有清唱小聚，旅居香港的名票名伶，因为杜公馆有冬皇孟小冬在，莫不以一履斯境为无上之向望，莫大之荣幸，但是杜公馆的雅集祇限于至亲好友，故属门生，经常必到的有赵培鑫、吴必彰、钱培荣、杜维藩、杜维屏、朱文熊、万墨林等人，马连良抵港以后，几乎每日必去杜公馆，他到时雅集又添一份热闹。王新衡祇要有空，会与致勃勃的前往参加，他跟着大家称孟小冬为「孟老师」。
明乎此，则可获知坚决反共，认清共党本质如杜月笙者，为什么在三十八、九年之交，还不敢与共产党公开破脸，反目相向，有亲生骨肉落入共党的掌握，虚与委蛇，相互鬪法，全是衷心非愿，迫不获已之举。
杜月笙在香港想尽方法，要把他的二小姐救出来，但是共产党正一心一意骗杜月笙回海，杜月笙的子女多一个在共区，就他们来说正好是威胁杜月笙的人质，因此他们决不肯轻易应允，绑票勒赎原是共产党的一贯伎俩，他们怎肯放过这个好题目？起先杜月笙命他的次婿金元吉，写信到上海请杜美霞出来，共产党那边拒绝发给路条，然后，一再函电交驰，依然石沉大海杳无消息，最后则以杜月笙病危为词，拍发急电，方始将杜二小姐，救出了虎口。多一半是因为在那个时候，杜月笙的长子杜维藩也在万般无奈的情况下进上海去了。
「水浒传」等等着名的说部。「听书」成了杜月笙的日课之一，他用听说书来消磨时间，尤其聚精会神听书时，可以使他暂时忘却身上的病痛与苦楚。
同时杜月笙的二楼太太陈氏夫人，在杜月笙赴港之先，曾经到过一次台湾，颇想在台定居，杜月笙到香港，她也由台抵港打了一转，夫妻间话不投机，陈氏夫人便和维翰、维宁回了上海，而这趟回去，竟因而被陷，始终不得出来。
经常来杜公馆吃中饭的，除了杜月笙的儿子媳妇女儿，女婿、顾嘉棠、金廷荪、王新衡、骆清华、沈楚宝等诸人之外，还有杜月笙的表弟朱文德，总管万墨林，这两位在香港经常不离杜月笙左右的哼哈二将，朱、万二人为了往来方便，都在坚尼地台租了房子，而且和杜公馆近在密迩，等于隔壁。朱文德一家住在坚尼地台十号，万墨林一家住六号
