由于位居要津，“二战”时期，西子湾被日军占为基地与海防据点，海水浴场不再，长堤上筑起军事碉堡，日本海军并将西子湾畔北侧一栋由高雄医师彭清约于1937年所建二层楼和风西式建筑征收为军官俱乐部，也就是西子湾宾馆前身。1945年抗战胜利后，此屋则由海军总司令部接收，作为贵宾招待所，称“寿山官邸”。
1949年5月25日，结束长达10天在澎湖的徘徊，在孙立人保证下，蒋介石搭机飞往高雄冈山，再登舰转往寿山旁港口登岸，并检阅孙立人为他训练的新军，是以西子湾海军招待所成了蒋介石1949年在台湾本岛落脚的第一个行馆。蒋介石在当天日记上没有提到为何在台海间徘徊不前，只记载，“到冈山下机，叔铭［王叔铭（1905年10月16日-1998年10月28日），本名醺，号叔铭。山东诸城人。黄埔军官学校第一期，历任美籍志愿军大队中国人员管理处主任、空军军官学校教育长等职。1946年6月，调任空军总司令部少将副总司令，1952年3月，升任“空军总司令”。1957年升任“参谋总长”。曾任“驻约旦王国大使”“总统府战略顾问”。1998年病逝于台北，享寿92岁。］来迎，直上高雄要塞之寿山官邸，背山面海，坐北向南，林木葱茏，神悦心怡，不胜自得之至”。
日本占据台湾后，于1916年在西子湾设立寿海水浴场，成为高雄民众游憩的重要景区。1923年，为迎接日本皇太子裕仁抵高雄视察，殖民政府不但将附近的打狗山改称为“寿山”，并于西子湾畔兴建“寿山馆”，作为太子驻泊所。［同样位于西子湾，裕仁抵达高雄视察时，夜宿于殖民政府特地为他兴建的寿山馆。此处并非日后的蒋介石行馆，但风景清幽，裕仁曾利用时间登寿山观赏风景。裕仁离台后，寿山馆也成为日皇宗室度假憩息之处。日本人同时在当地筹建森林公园与登山公路。寿山并于1926年被日本报刊选为“台湾八景”之一。］
西子湾坐落于台湾高雄西隅沿海湾澳，也称“洋路湾”“洋子湾”或“斜仔湾”，因闽南语谐音，渐称为“西子湾”。北端位在柴山西南端山麓下，南面隔海与旗津岛相望，平滩、浅沙及天然礁石四布，椰林、浪花增添热带风情，“西子夕照”早在清初即为“台湾八景”之一。全台第一座洋楼也出现于此。［全台第一座洋楼，系由天利洋行于同治四年（1865）2月，在西子湾畔哨船头小山丘兴建，是当时英国掌理海关税务工作的重要据点。］
