蓉子去世时，辜鸿铭特意留下了她的一缕头发，已经习惯夜夜有蓉子做伴的辜鸿铭每晚必须将那缕头发置于枕下，才能安然入睡。他去世后，儿女将这缕头发与他一起下葬。
辜鸿铭的夫人淑姑，是他理想中的妻子：小足、柳腰、细眉，温柔、贤淑。
辜鸿铭帮助蓉子找到了父母，父母希望她一同返回日本。考虑再三后，蓉子还是决定留在辜鸿铭身边。辜十分疼爱蓉子，对蓉子也十分依赖，几乎夜夜要求蓉子陪伴，以至于养成了无她相伴无法入睡的习惯。
辜鸿铭与淑姑感情甚笃，从结婚之日起，辜就将妻子的小脚视为珍宝。闲暇之时，辜脱掉妻子的绣花鞋，把又臭又长的裹脚布一层层解开，低下头，将鼻子凑近小脚，嗅其肉香。作文没有灵感时，他总将淑姑唤到书房，让她将瘦如羊蹄的小脚放到他身旁的凳子上，右手执笔，左手抚弄淑姑的小脚，时捏时掐，如同玩佛手。每当此时，他文思如泉涌，下笔千言。
辜鸿铭曾在报纸上发表文章说：“我妻是湖南人，有极强烈的责任心。她不惜恶衣恶食尽力撙节费用，以赡养我十六口的家。我因此对她惊服而崇敬，朋友们竟多嘲笑我怕她，甚至远过怕吴佩孚率全军来临。”
辜鸿铭一妻一妾，享齐人之福。他曾幸福地说道：“吾妻淑姑，是我的‘兴奋剂’；爱妾蓉子，乃是我的‘安眠药’。此两佳人，一可助我写作，一可催我入眠，皆吾须臾不可离也。”
一次，辜鸿铭不知为何得罪了蓉子，任凭辜如何赔罪，蓉子就是对他不理不睬，连着两三天，晚饭一过便关起房门自行睡下。缺少了“安眠药”辜鸿铭整夜失眠，急得他不知如何是好。这天傍晚，他拿了根钓竿，从窗户伸进蓉子房内桌上的金鱼缸内，垂纶而钓。蓉子见状忙喊道：“你怎么在我金鱼缸里钓起鱼来！”辜鸿铭笑道：“好人儿，你终于肯和我说话了！我不是钓鱼，是为钓出你的话来。”又低声下气地说：“好了好了，现在不生我的气了吧！”蓉子这才笑出声来，两人和好如初。
但辜鸿铭又说：“不过她的责任心，也有时叫我难堪。譬如我去听歌女唱歌，她便对我大施问训，使我不得安眠，以致害了肺炎。”
据萨摩雄次回忆，辜鸿铭很健谈，兴致上来唾沫四溅，时而是警世之言，时而是言辞激烈的攻击性的言论，让人替他捏一把汗。能够止住他喋喋不休的唯一法宝，便是戴在他左手无名指上的刀锋形金戒指。这是夫人蓉子担心他口不择言，招来不测，特意为劝诫而送他的纪念戒指。蓉子说：“您攻击性言论过多，届时请务必看看这枚戒指，您就会想起我对您的牵挂而慎言。”
辜鸿铭十分惧内，他说：“老婆不怕，还有王法吗？”
辜鸿铭曾得意地自述道：“又要忠，又要孝，又要风流，乃为真豪杰；不爱财，不爱酒，不爱夫人，是个老头佗。”
吉田蓉子在陪伴了辜鸿铭18年之后，因病去世，她给辜鸿铭留下了一子和一女。失去了“安眠药”的辜鸿铭悲痛不已，他特地在上海的万国公墓为她选了一块墓地，并亲手立碑纪念，上书五个大字：“日本之孝女。”他为爱妾写下一首悼亡诗：“此恨人人有，百年能有几？痛哉长江水，同渡不同归。”
蓉子去世两年后，辜鸿铭在出版的英文书籍的扉页动情地写道“特以此书献给亡妻吉田蓉子”。晚年，他接受了日本大东文化协会的邀请，于1924年至1927年曾多次前往日本讲学。他到日本做的第一件事就是去大阪的心斋桥，即吉田蓉子长大的地方，凭吊亡妻。
辜鸿铭晚年穷困，却又乐善好施，夫人对此甚为恼怒。震瀛曾回忆，辜鸿铭曾对他们说，北京多叫花子。一次，叫花子又到门上，他照例又给了钱，结果太太将手中饭碗冲着他的脑袋掷来。辜解释说，因为她反对这种无度的慈善事业，如尼采一般。
辜鸿铭的妾吉田蓉子（一说名贞子）是日本鹿儿岛的士族。其父母到中国来做生意，音信全无，蓉子便只身一人到中国寻找父母。不料，她没有寻到双亲，反而被拐卖到汉口的一家青楼，做了端茶的侍女。因她坚持不肯接客，经常遭到鸨母的打骂，日子非常艰辛。辜鸿铭十分可怜她，就让她到自己家中暂时住下。和蓉子相处了一段时间之后，淑姑觉得她知书达理，对自己也很尊敬，对她十分喜欢。在淑姑的撮合下，辜鸿铭迎娶了这位异国的小妾。
