但当胡叙五透露他心中的如意算盘，杜维藩不但兴趣全部消失，而且，他不惜兜头泼胡叙五一盆冷水，正色的告诫他道：
「叙五兄，」旣然是多年交往的自家人，杜维藩便坦坦白白的说：「老板从前待你好，是因为从前的路子粗，进账多，日脚好过。现在跟从前大不相同了，现在老板在香港，一点进账都没有，就靠带出来的那点钱，天长日久，坐吃山空，老板自家的日脚不好过，跟他的人当然要比从前差一点，好在有粥吃粥，有饭吃饭，大家同甘苦共患难。所以我说你最好不要在这个时候离开，免得人家批评你不够义气。」
「我没有这个意思。」
胡叙五并不否认杜维藩所讲的话有道理，但是他去意已决，无法挽回。劝阻无効，胡叙五还是辞去了一斡十二三年的杜月笙秘书一职，他悄悄的回了上海
胡叙五充任杜月笙的秘书，原系抗战初期经黄炎培介绍过来，抗战八年，胜利四载，他为杜月笙致力甚多，杜月笙第一次旅港身边的得力帮手是翁左青与胡叙五，第二次仍还是这两位，不过首度旅港杜门座客常满，人文荟萃，如老虎总长章士钊，江东才子杨云史，吴佩孚的高级幕僚杨千里，都曾降尊纡贵，为杜月笙司过翰墨词章。二度香港居，文墨方面的工作就祗剩了胡叙五独挑大梁，因为翁左青明于事理，善长分析，颇能出出主意，管理庶务，若论笔下功夫，新旧文学俱有根柢。那他毕竟是及不上胡叙五的。
胡叙五一听话不投机，颇不开心，悻悻然的去了。后来杜维藩听说，他跟别人合伙做了一票，结果却被人家骗了一笔钱去
「很好。」
章士钊首鼠两端，踌躇不决，他这一次「衔命」赴港为毛泽东拉班底，其结果是演成一出笑剧，可能是章士钊听过杜月笙、王新衡的循循善诱后，神情举止的变异，使负责监视他的共党特务起了怀疑。一日，章士钊在他的港寓，刚派佣人出去买东西，他正一人在家等候，共党监视人员推门进来，请他即刻登车回大陆。据章士钊家的邻居后来对杜公馆的人说：当时章士钊曾要求等佣人回来，作一交杙，但是共产党特务不准，章士钊又说要去楼上向某人辞个行，对方还是拒绝，于是，章士钊自此不告而别，他等于是给共产党架走的。
「叙五兄，现在时代不同了，这种生意，不要说做，连碰都碰不得。从前老板做这个。人人认为将本求利，理所当然。但是此刻除了共产党，到处都把这个悬为厉禁，谁做谁就犯法，万一出个差池，准定会搅得身败名裂！」
想不到的是过了不曾多久，胡叙五又自上海悄然南来，仍旧回到杜公馆。杜月笙一辈子都尊敬文人，卽令他雇用的秘书，不论相从年份有多久，也是执体甚恭，客气得很，譬如他对年纪小他许多的胡叙五，十余年来便一直以「叙五兄」相称，一直待之如上宾。唯独这一次胡叙五不听他几度苦劝，到上海去打了一个转，再回来时，杜月笙的神情反应，便就开始冷漠、淡然，面孔也有点不大好看。这倒并不一定全然为了「好马吃了回头草」的关系，而是胡叙五以杜月笙机要秘书的身份，在那种共党统战，争取杜月笙还沪，满城风雨，四方瞩目的时候，全无必要的走了一趟上海，实已为杜月笙带来莫大的困扰，连他的知己朋友，在事隔若干年后，仍还以为胡叙五当年上海行，确与杜月笙与共产党「搭线」有所关连呢。
万墨林劝驾不曾发生作用，便由杜维藩接手，他约胡叙五到外面吃咖啡。
「那么，你是否嫌气老板现在待你不如从前了？」
杜月笙对胡叙五渐形疏远，胡叙五便在杜公馆投闲置散，一日，他忽走访杜维藩，邀杜维藩一道做生意。
「叙五兄，你说要做什么生意？」
胡叙五随同杜月笙到了香港，工作了一段时期，不知怎的忽然动了蒪鲈之恩，起了还沪之念，口口声声的说要回上海。他这一决定使杜月笙大为不安，唯恐胡叙五之回大陆，引起无谓的麻烦与谣言，尤其旅港初期胡叙五兼为杜月笙掌管机密，他哓得的事情太多，又怕共产党对他加以利用。
杜维藩直淌直的和胡叙五谈判，他问胡叙五：
张云葆是杜月笙的小朋友，在上海和到香港后，都做进出口贸易，尤其香港时期，他长袖善舞，获利倍蓰，沪上旅港商界中人，就数他春风得意，能够大赚钞票。杜月笙叫他的儿子跟张云葆学，其实各人环境不同，运道殊异，发财的事不是投门拜师所可以学得来的，他无非希望他的儿子，能与张云葆看齐而已。因此，当杜维藩听胡叙五说有生意可做，他不觉心中一喜，顿卽便问：
机要秘书出缺，使杜月笙大伤脑筋，幸亏早年卽曾在杜公馆任过秘书的邱访陌，当时也在香港，杜月笙便去请了邱访陌来，接替胡叙五的遗职。邱访陌是福建人，中过举，前清时代还当过一任知县。他还是杜月笙的老把弟，早年智襄团的首脑陈群陈老八介绍来的，学识渊博，文采斐然，在杜月笙一生所用过的专职秘书之中，就推邱访陌的文笔最好，有邱访陌来接胡叙五，不但驾轻就熟，而且更为得力。
杜月笙每次谈到他几个儿子的生活问题，常常鼓励杜维藩他们兄弟三个说：
提起做生意，杜维藩倒是很有兴趣，当时他在建华街自立门户，一家六囗，开销不而收入缺缺，青黄不接时，积蓄用光，还得变卖手饰。
回北平后的章士钊，其后也曾出来到过香港几趟，他在红色魔朝做官的愿望，始终未能达成，除了什么「人民代表大会」聊备一格的代表，毛泽东给他的实缺仅祇是伪文史馆副馆长，支几文干薪维持生活，落水者的所得如斯而已。
「叙五兄，你说老板从前待你好哦？」
「你们应该去跟张云葆学学，就在香港做做生意，赚点铜钿。否则的话，在香港天长日久的蹲下去，那能个维持法？」
因此杜月笙便亲自奉劝叙五兄，设非必要，何苦冒险自陷共区，他一再恳切挽留胡叙五，却是胡叙五辞意颇坚，无可奈何，又叫跟胡叙五谈得来的长子维藩，和万墨林两人从旁劝阻。
