玛利练兵场西侧山脚，面对皇后大道汇丰银行后门。一座红砖建筑物，昔年也曾是香港总督府所在地，那是港督办公的最早地方。
后来，香港人口逐渐增加，工商业迅速发展，只有50千瓦发电量的电灯公司，已经无法应付实际的需要，于是开始在北角地区另建较大的发电厂。1919年北角发电厂落成供电。1925年以后，商业进一步发展，九龙地区开始繁荣，电力用量增加，香港电灯公司的电力难以供应。港府会议通过，准许华人组织九龙地区的电力公司。以九龙中华汽车公司的颜成坤为首，招股集资组建了电力公司。向英国购买机器，铺设电线，发电供给九龙地区及新界地方，规模较大，聘请英国人为总工程师，雇用中国工人，收费与香港电灯公司一样，用户只设电表核计用电。1969年规模较大的香港仔发电厂建成，电力供应更加充裕。到70年代末，所发电量可供香港每人每年3000度，而实际用电量每人每年不到1000度，所以曾经在历史上对香港做出贡献的电灯公司，已经退役改做销售家庭电器了。
1847年至1848年，总督租赁官邸的租金为625镑。坚道一座大建筑物，那时是香港第二任港督戴维斯的私邸，当时港督没有官邸，所以不得不租用民房。戴维斯港督的坚道官邸，也曾是大法官威廉?坚的官邸。
1851年，新的港督府在港岛中区半山上的上亚厘毕道正式开始动工。
第二次世界大战前夕，总督府建筑已经陈旧，拟就拆除改建的计划，但1941年12月25日，第二十一任港督杨慕琦向侵华日军投降。日军入占港督府并进行大规模重建、扩建工程；1944年重建、扩建完工。为迎合日本口味，原建筑物大部分拆毁，只保留地下室及地基。
法例规定，民事案件，陪审员7名，如果一个案件有4名陪审员意见一致，即可判定被告是否罪名成立。刑事案件，至少有5名陪审员意见一致，才能判决。被判死刑的罪犯，则必须由全体陪审员一致通过，才能判定罪名成立。在审讯进行时，如果7名陪审员中缺席一至两名，审讯可照常进行，仍按多数少数决定罪名。刑事案件，陪审员缺席人数不能超过二人，重刑案件缺额不能超过一人。
1929年，第十七任港督金文泰，再度扩建宴会厅，使两大部分混成一体。
1887年，德辅当政伊始，港府重新修订颁布了陪审员法例。法院审案子，罪犯罪名是否成立，由陪审员集体决定。这样重大的责任，香港居民几乎都可以参与担当。修订后的陪审员法例规定，凡在高等法院进行审判的民事或刑事案件，以及鉴定有关白痴、疯狂及神经不健全等案件，都要选用陪审员7人，这是普通陪审员。对于若干案件，大法官更有权召集特别陪审员陪审。普通陪审员是义务陪审，特别陪审员却有报酬，民事案件出庭陪审一次可得津贴10元，如果是刑事案件，即使特别陪审员，也是白尽义务。
1855年，新的港督府工程完成，耗资7万港元。港府第四任总督宝灵成为首任住客。此后，经过多次装修、扩建、改造。
据巴图所著香港纪实丛书记载，德辅任圭亚那治安法官和商务监督时，年龄还不满30周岁，血气方刚，踌躇满志，是一个有理想的正直青年。
法官的判词中有这样一段话：你要知道，你的罪行正是那一连串的带给这殖民地以耻辱的罪行之一。自从我对于与你所犯的罪行相类似的一宗案子判刑以来，已经三年于兹了——那就是对于邮政局首席书记巴拉达斯的控案。显然的，对于他所判的刑罚，并未能警惕你，使你束手不去动用公款。
当地富商和庄园主并没有将这个年轻总管放在眼里，他们直接上书英国政府，状告这位行政官的“行为不端”，要求必须撤换掉他。德辅所讲的圭亚那情况在英国朝野引起了激烈争论，不少人支持德辅。然而英国政府听信富商和庄园主的诬告，撤换了德辅。改派到圣卢西亚任职。
1874年9月22日，香港遭遇历史上最凶暴的大风袭击，中区海旁堤岸全部被摧毁了。
天灾不断，人祸迭出，百姓涂炭。但是，港英官员不顾百姓死活，照常贪赃枉法。
德辅57岁的时候，对于繁重的香港事务，越来越感到力不从心。在其任内后期出现的海盗问题及财政收入锐减问题，又使他一筹莫展。在这种情况下，他开始萌生退意。
陪审员实际是陪人打官司，是很苦的差事。法例规定，在法官没有下令解散陪审团以前，陪审员除了个人的需要（指大小便）以外，不能随便走动半步，赶上吃饭时间，吃东西要自己掏腰包。如果法官不将他们解散，便要一直在指定地方守候，甚至在法院过夜。法院指定一位专门监视陪审员的人。这人要宣誓，不准任何外人同陪审员说话或接近。所以，作陪审员与被软禁的待遇差不多。
4月18日，亚尔费斯在高等法院刑庭受审，被控罪名共达19款，其中包括侵吞公款，伪造政府税饷收据，偷盗并毁灭皇家簿据等。亚尔费斯对于政府所控告的19条罪状，当堂承认了12条。因此，被告的辩护律师向法庭表示，既然被告对于所控19条罪名业已承认了12条，他的罪名已定，为节省时间，对于其余7条罪名似已毋庸深究，因此请求法庭轻判。大法官即席宣判，判了亚尔费斯6年苦工监禁。
早年香港有座“政府山”。在中环皇后道中与花园道转角地方，是一块空场，俗称为玛利练兵场。由练兵场直上，就是“政府山”。当时总督府、港督行政机关、邮政局等，都设在“政府山”上。香港大学以及英国圣公会香港维多利亚主教管区大教堂圣约翰大教堂也在这里，可说是香港早年的政教中心。“政府山”即太平山的半山区，背山面海，环境优美，是上层人士的主要的高尚住宅区。
这种规定的目的，是这些人容易与诉讼案件产生牵连，应加以回避。
香港有线电视新闻台台长刘家馨，从第二十七任港督卫奕信时代开始进入港督府做访问或参加宴会，他的感慨与以上两名议员大相径庭：“入港督府最大的感觉就是其富有殖民地色彩。其中为港督专用的一楼洗手间，简直就像一个会客室，予人一推门就似入错地方之感，过分奢侈了。”
港督府作为香港历史的见证，它可让更多的人们认识殖民主义而永记历史的耻辱。
受过现代自由主义教育的德辅，对广大劳工的处境比较同情。他严厉指责这种不“人道”的剥削，明确支持劳工们提出的一些合理要求。
港英政府的财政收入，很大一部分靠卖地皮得来，而弹丸之地的香港，土地从哪里来，只有填海，所以填海造地是每任港督工作的重要内容。
与第五任港督同姓的威廉?罗便臣，1891年12月10日至1898年2月任香港第十一任总督。
在推动填海工程的同时，1889年，立法局公布《收回土地法案》。决定强迫收购部分人口密集拥挤的地方，狭窄的小街巷扩展为大道；法案还规定不合卫生条件的楼宇重新改建，建筑物后面必须保留一定的空间，以利于通风。为了弥补物主面积的损失，楼宇可增高3层。
关于陪审员法例的制定，并非由德辅开始。1864年就已经制定过陪审员法例，并一直延用。1868年，两名案犯李阿泰和邝阿发被控谋杀伤害罪。该案2月27日审讯，至下午7时许，大法官宣布因为当晚本案审讯不能完结，延期次日续审，将全体陪审员予以监视扣留，送到欧洲大酒店过夜。当时有人对此提出异议，大法官即拿出1864年的法例11号第二十二项、第二十三项作依据，执行他的决定。德辅时期对一些规定加以修改，例如，原法例规定必须有3名陪审员意见一致方能对有期徒刑判决，对于死刑的判决，必须七名陪审员的意见完全一致方能判决，后面一条则改为，有一名陪审员缺席，案子可照常审理并作出判决。
1891年初，他写信给英国殖民地部，请求允许他提前退休，1891年5月，在得到英国方面的肯定答复后，他经过香港机场的红地毯，踏上了归国的路程。此后，他再也没有担任公职，而是在英格兰的平静生活中，总结自己一生的政治生活。
1908年，第十四任总督卢押，对港督府进行内部装修，在天花板安装了豪华的电风扇。
从正直青年到殖民统治者
1887年10月6日，德辅带着英国王室的重托，带着清洗圭亚那耻辱的决心，来到了香港。
1890年是维多利亚女王金禧纪念和香港开埠50周年大庆，德辅决定隆重庆贺，为此，从1890年2月开始，德辅对上亚厘毕道的总督府进行扩建。共拨款4万元，主要工程是修建宽40英尺、长60英尺、高26英尺的宴会厅。新建部分与原建筑大小相当，由一道有盖的楼梯相连接。当面积达2400平方米的豪华宴会厅建成后，他的夫人出面在此厅举行了盛大舞会，宴请香港名流，纪念开埠50周年，其热闹气氛达到他任内的最高潮。
德辅（1834~1909），英国巴登市人，出身名门。1853年进牛津大学，中途辍学，到加拿大经营农场，后进多伦多大学，完成学业得学士学位，并取得律师资格，做了一段律师后，转入政界。1863年被派往英属殖民地圭亚那任治安法官和商务总监。1869年赴圣卢西亚任职；1878年任斐济总督，兼任西太平洋地区最高行政长官。1886年任澳大利亚总督。封爵士。1909年去世。
1890年开工时，正逢英国王子干诺公爵夫妇出访路过香港，德辅请干诺公爵行填海工程奠基礼。工程完成后得到新填土地59英亩，新的海边大道便命名为干诺道，干诺道后面的一条电车路就以当时港督德辅的名字命名，另一段马路就以遮打命名，以示纪念。
儒生先生还介绍说，若问这座已有140年历史的古建筑于今价值几何，据香港古物古迹办事处表示，暂时还未能公布港督府被列入古迹范围的面积，但初步估计，以中区房产每平方米6万港元算，市值肯定超出100亿港元，比香港古物古迹委员会1996年所公布的“铜锣湾天后庙”等十大古建筑的价值总和还高。至于历史价值，更是无可估量。
1894年1月5日，伦敦转来对中国居民请求的批示，国务大臣对于库务司英厘斯在香港能获得很好的人望，甚表快慰。至于调职处分，决定暂于延缓执行。1895年，英厘斯请假回英国，后来就在英国北部一个监狱里任职，没有再回香港。
1979年，第二十五任港督麦理浩大规模重建港督府，包括屋顶、宴会厅及私人秘书办公室，并首次在宴会厅安装空调。
1893年，香港发现一起震惊港岛和英伦的公务员侵吞公款案。港府库房首席书记亚尔费斯，利用职务之便，私吞政府公款63000元，相当于现在的数百万元。虽然事情暴发在第十一任罗便臣任期内，但其作案时间，均在德辅任内，显示其任内行政管理之混乱。
法官还向亚尔费斯表示，他被判的六年苦工监，不过仅是对于第19条被控罪名而言，其余第一、二、三、四、十一等项，每一项都可判罚5年苦监，第十五、第十六两项，每项又可以判处三年监禁，因此，一共只判六年监禁，是很宽大的处罚。
1890年德辅开始扩建，1891年完工。
根据陈谦先生回忆，20世纪初，港英人士夸口说，香港电灯明，电话灵，自来水清，为香港维多利亚城3大优点。其实，不过草创而已，比当时的上海差距甚远。第一次世界大战期间，由于机器残旧，负荷力弱，经常发生故障，每星期总要停电3次，所以，许多安装了电灯的公共场所还必须备有煤汽灯。
1877年，坚尼地去任，轩尼诗接任总督，修补海旁堤岸工程仍继续进行，1880年全部修补工程结束，总共花费24.4万元。当时一些外商建议将海岸扩展出20尺，但港府认为这项建议将会阻碍修理堤岸工程，未予接纳。
日本投降后，1947年，第二十三任港督葛量洪大肆装修港督府，包括安装空调、天花板，新壁炉及房间装修等。
但是，英厘斯在中国居民中有好的人缘，香港中国居民对于库务司受到亚尔费斯案件牵连表示同情，发起了慰问他的行动，并联名上书伦敦国务大臣，请求批准，免于将英厘斯调往异地，大家还捐款替英厘斯代交罚金。
本年起，港府允许洋商开始向地产投资。一批英国商人集资5000万元，组成香港地产投资及代理公司，这是香港房地产业兴起的基础，后来该公司改名为香港置地公司。
1964年，第二十四任港督戴麟趾上任后，将主要房间改建成“阿当学派”风格，并在天花板及墙壁铺上华丽浮雕。
陪审员制度
德辅时期，开始供应居民用电。
英国政府迫于各方的压力，不得不派代表团前往圭亚那进行调查，德辅也是代表团成员。但在调查团出发前，反对德辅做法的人早已通过其他人将此消息提前通知了当地的商人和园主，使他们及早做好准备。结果，当代表团到达圭亚那时，商人和庄园主所组织的人都指责德辅言过其实，过分挑剔。搞得德辅一个人孤掌难鸣，有口难言，在调查团面前很是难堪。最后只好承认自己“报告写得太仓促”，“记忆不清”。
有功于市民的“港灯”
上亚厘毕道总督府未落成前，香港总督的办公地方一迁再迁，有时设在今日中环的动植物公园上面，有时设在今日湾仔的春园街，有时甚至临时租赁民房。回顾总督府的历史，概况如下。
当时的总督坚尼地于1875年5月任命一个委员会，设计海旁堤岸的全部改建计划，并包括填海拓地工程在内。
1893年1月28日，港府核数师查核政府库房的账目，发现库存和簿据的记载有短绌情形，显然有人渎职作弊，但一时尚不能确定何人作案。1月31日，库房首席书记亚尔费斯突然失踪，立即证实嫌疑犯就是他。经详细查核，发现从1888年至1892年，亚尔费斯经手的公款被盗63000。许多旧账据，已被案犯销毁。政府立即下令通缉亚尔费斯。2月24日深夜，在九龙一座空屋里抓到案犯。
公务员侵吞公款案
1841年8月，璞鼎查带兵北上攻打中国沿海城市，庄士顿以副商务监督身份代璞鼎查执行职权时，办公厅就设在上述中环的红砖大建筑物中，这座建筑物是哈特公司所有。它占地1280平方米，当时称为“庄士顿大宅”。直到1844年7月，港督办公地方仍设在这座红砖的大楼中。成为当时香港最高行政中心。这座红色建筑物，内里间隔以19世纪传统建筑为主，空间宽敞，阳台开放式设计，显得清幽典雅。1915年法国传道士以38万港元买下，改名“传道会大楼”，用以传道。1989年，港英政府已将这座建筑列为古迹，后改为港府新闻处使用。
德辅并没有就此罢休，他到圣卢西亚上任后仍念念不忘圭亚那之败，他给英国外交大臣写了一封信，希望英国政府能够主持公道，重新调查圭亚那劳工状况。
据香港报纸介绍，港督府自1968年开始，每年都在杜鹃花盛开的季节向社会开放10天。让市民入内赏花。当然，除了赏花之外，更要看看港督府的建筑。然而游人今天能看到的港督府，无论从外形到内里，都与昔日的风格面目全非了，特别是彭定康1992年到任后大规模翻新的港督府为甚。
根据该委员会的调查及估算：如果以中区美利码头为中心，东至铜锣湾，西至煤气公司，将沿海堤岸翻修，并填海扩展海旁地面，需要动用21.2万元。由于费用太大，所以在坚尼地任期内，海旁堤岸重建与再填海计划被搁置起来，只将损毁厉害的部分堤岸作了修补。
因为公司由英国人经营管理，安装电灯电器的用户，所用电线、灯泡、灯口、灯掣及其他各种零件，都必须采用英国制造的产品。港府电灯管理部门还规定，每隔一定时期公司要派人上门检查电线，若发现有漏电或电压不足，即限定时间修理或更换零件，否则拉闸停电。公司口称这是为了大众的安全，实际上是维护英国厂家的利益，帮助推销产品。所以，每检查一次电线，用户都要花费一次修理费和安装费。有关管理部门、公司和检查工人，互相串通，从中舞弊。大概这就是“电老虎”的雏形。
立法局议员陈荣灿，头一次入港督府，他的感觉是：“港督府的设计非同凡响，比靓酒店更清雅。港督府的会客厅虽然建于地下一层，但绝对没有入地库的感觉；最令人难忘的是会议大厅，可容纳200多人，呈半月形的设计独特。”
政府山和总督府
通过“圭亚那纠纷”，德辅开始明白了自己的顶头上司希望自己在英属殖民地中扮演什么样的角色，自己在殖民地中要依靠谁、不能反对和得罪谁。
1909年12月5日，德辅在伦敦去世，享年75岁。
填海扩土
从德辅到第十六任港督史塔士，经历了七任总督。由德辅1887年抵港，到史塔士1925年10月离职，共约40年，其间天灾人祸接连不断，既有瘟疫蔓延，又有大火、暴风、狂雨袭击，更有港英当局对香港人民的残酷镇压，百姓涂炭，民生倒悬。香港人士称之为长久的“黑暗时期”。黑暗给居民带来痛苦，也促使其觉醒、团结、斗争，又加上内地辛亥革命正在发生，香港涌现出一批接受先进思想的进步人才，促成了海员、省港罢工的兴起和成功。德辅正是“黑暗时期”内第一个就任港督。他本人又有浓厚的种族歧视观念，是一个种族歧视主义者。在任期间，银价暴跌，港元贬值，经济陷入困境。英国政府强令香港政府“缴纳皇家经费”，由每年2万英镑增加到9万英镑。德辅为应付庞大“贡费”，拟定开辟香港土地资源计划。
以后十多年间，港督府没有多大变化，直到1992年末代港督彭定康上任，才又再次对港督府进行了大规模的装修。
彭定康将这次装修的主题订为“东西汇萃”，用的全是香港本土的设计师、工程师及艺术家。主要负责人为何弢。何弢的设计没有更改港督府的原状和特色，依然具备其浓厚的殖民地特色，只是在所谓“东西汇萃”的主题之下，在殖民地色彩强烈的建筑物中，摆放了多种不同风格的东方家具、盆景、雕塑摆设。如雄鸡图案的仿古陶制花盆、置于大堂的明朝风格木椅、十二生肖雕塑作品及引人注目的放在大堂中心的4张以紫荆花为图案的地毡。
真正大规模的填海工程，是德辅在任时期。英国政府逐年增加对香港的摊派，德辅只好鼓励填海造地，增加收入。德辅采用了香港英国富商保罗遮打爵士所提出的填海计划，主要目的是解决逐渐严重的房屋紧张问题。这项计划的内容除了包括填海筑路以外，还建议将海军船坞、陆军军营及政府若干建筑物由港岛中心迁移，腾出地方供作商业经营及市民居住使用，由此解决房屋短缺的困难。
1845年，总督办公地点，设在“兵头花园”一座小建筑物内，当年璞鼎查总督、戴维斯总督都在这里办公。因为英占之初，港督兼英国驻港三军总司令，所以香港人昔日对港督俗称为兵头，也是“兵头花园”名称的来由，即现在的香港动植物公园。
现在的港督府内部设施装璜到底如何，据香港报纸儒生先生的文章介绍，一些进入过港府的人的印象如下：
1889年1月24日，香港电力公司成立。当时不叫电力公司，因为设立之初，只是供应作灯光照明用电，所以叫电灯公司，简称“港灯”。公司厂房选建在湾仔永丰街附近的山边处，厂房简陋，从海外买进两部25千瓦的蒸汽发电机，1890年12月1日开始供电。早期的电灯用户寥寥无几，电力公司提供家庭照明用电不过600户，街灯75盏，以及专供山顶区用水的电动抽水机的用电。总发电量只有50千瓦，不过是现在一家小商店的用电量而已。但那时已经足够整个香港岛使用了，根本没有闹停电的现象。
因为陪审员对于被告是否有罪，甚至于犯人的生死，有决定之权，责任重大，所以，陪审员在出庭前，要郑重宣誓公正无私。
当陪审员是香港居民的义务，凡是年龄在60岁以下，21岁以上，身体、精神正常而又懂英语者，都有当陪审员的义务。有资格而逃避不报者，要罚款500元。每年2月初，高等法院将本年居民的申报汇总，张榜公布，凡适合陪审员资格居民的姓名、住址都在榜上，一连张贴半月，做到家喻户晓。公布期间，居民如果认为自己不合格而榜上有名，可以申明理由请求豁免。对榜上的其他不合格者，也可以向法院提出异议。最后，这张名单要送总督亲自过目，由总督最后圈定。核准的名单，要在两种中文报纸、两种英文报纸上登出，通告居民注意这项义务。通告刊出后一个月内，漏报的可以补报，逾期不报的合格者，要受到处罚。法例规定，有十种人可以豁免当陪审员的义务。一、政府官员；二、报馆的编辑与职员；三、外国政府驻港机构官员而非营业者；四、现任大律师与书记；五、注册医生；六、在职化学师与配药师；七、正式教会的传教士；八、本港中文学校以外，任何学校的教员与香港大学之教授、讲师及其他职员；九、军人包括海陆义勇军人；十、船主与本港领航员。
1890年前后，香港侵吞公款渎职之风甚盛，一连发现多起。其作案时间，几起大案均在德辅时期，在罗便臣时期东窗事发。香港自开埠到这时，对于公职人员的贪污受贿，赌博盗窃，私设娼馆，与海盗勾结走私等行为，一直没有采取强硬措施予以严处，有时甚至袒护，既便侦讯开审，量刑也相当轻微。
1930年的港督府
大法官给亚尔费斯的判词中提到的邮政局案件，发生于1890年3月22日，也是德辅任内。香港邮政局汇兑部主任巴拉达斯未向邮政司请假而悄然失踪。按照公务员条例，他应按旷职除名。4月12日宪报发布公告，宣布自3月22日起，邮政局汇兑部主任一职空缺。同时对他私自离职原因进行调查。经过查证，发现巴拉达斯有盗用公款嫌疑。后来调查证明，该人由香港经澳门、厦门私赴马尼拉。香港政府即行文至菲律宾的西班牙政府，请求代为追缉。5月17日马尼拉通知港府，案犯已落网。6月底即将巴拉达斯引渡到香港。经查案犯从1888年2月至1889年期间，共盗公款50681元。但是，1890年7月25日开庭审讯时，只指控四项共盗窃公款4577元。巴拉达斯只承认其中一项共1737元。审判时，法官向被告训诲，说是根据他的第四项罪名判罪，所侵吞的公款虽仅千余元，但他身为公务员，受国家重托，竟监守自盗，且蓄意潜逃，所以罪不可恕，判处2年苦工是轻的。至于五万余元案的其他责任者和款项去向，就再没追究。
亚尔费斯的案子虽然终结，但是，此案属高级公务人员盗用公款，案情重大，很丢港英当局的面子。因此，总督罗便臣下令组织委员会调查这件罪案发生的经过，并追究间接和直接应当负责的其他官员。经过调查核实，4月26日写好报告书，寄呈伦敦的国务大臣。同年7月26日港府收到来自伦敦的复示，表示对于总督的报告已加审核，认为香港若干对于库务税收有关的官员应各负相当责任，其中责任最大的为亚尔费斯的直属上司，即当任政府库务司密歇尔?英厘斯。因此，英厘斯受到严重的谴责，指称他有亏职守，辜负重托，除罚俸1000元之外，并调职至他处，以示警诫。
香港立法局议员李启明，进过港督府数次，他的观感为：“虽然不觉得其十分富丽堂皇，但总觉得其十分高大宽敞，予人一种清新明朗之感。”
1890年，飓风为灾，香港发生历史上最严重的暴风雨，大雨由5月19日一连下了十天十夜，降水38英寸，海岸水深达45尺，山泥倾泻，山体滑坡，灾害深重。
第十任德辅当时圭亚那有很多甘蔗种植园，劳工大多数来自中国和印度，其中很多人是被殖民者和人贩子骗来的。在这里，他们受到了非人待遇，失去了人身自由。
