胡雪岩故居坐落在杭城东南元宝街，建于清同治十一年(1872年)胡雪岩事业的巅峰时期，当时豪宅工程历时3年，于1875年竣工。落成的故居是一座富有中国传统建筑特色又颇具西方建筑风格的美轮美奂的宅第，整个建筑南北长东西宽，占地面积10.8亩，建筑面积5815平方米。故居无论是从建筑还是到室内家具的陈设，用料之考究，堪称清末中国巨商第一豪宅。

故居见证胡雪岩事业巅峰之时莺歌燕舞，特别是十三座楼和一个芝园，分为了东西两侧，一个妾一座房，因此，古时的姨太太的单位就叫有多少房，而不是现在的叫法什么小三小四的，他刚好有名正言顺的十二房姨太太和一房正房，所以这十三座楼人统称东楼十三钗”，宅院也非常大。故居中有东面是全家起居饮食的地方，而西面是园林休闲区，这里小桥流水，极具江南风情。

故居用料为贵重楠木厅，特别胡雪岩的红颜知己罗四太太居住之所，建筑面积445平米，厅内全部由金丝楠打造。60年长一厘米的金丝楠木，被如此奢华的铺陈装饰，真可谓世间少有。 整座宅园的建筑设计为晚清典型的江南园林式豪宅，富丽堂皇，极尽奢华。

豪宅的大门并没有权贵巨富之家的那种宽阔和气派。据说是胡雪岩寄寓“藏而不露”的用意。胡雪岩毕竟是个富商，自有富商心理。大门的构筑，还能想到“藏而不露”，而门里则可谓极尽奢华了。

房屋所用材料选用了大量名贵的紫檀、酸枝、楠木、银杏、花梨、南洋杉和中国榉，做工精细，雕刻彩绘精美绝伦，达到无品不精，有形皆丽。同时引进一系列的最时新舶来品，诸如大型穿衣镜、水法流苏吊灯、西洋彩色玻璃之类。园中高阁、回廊、亭台、水池、假山，一应俱全，其中人工溶洞堆砌之精巧与规模之浩大，堪称明清第一。

整个建筑布局紧凑，构思精巧，居室与园林交融，建筑材料可媲美皇帝故宫，可谓无材不珍。木雕、砖雕、石雕、灰塑彩绘，工艺高超，可谓无品不精。全部建筑用了整整三年时间，耗费300万两白银，成就了我国江南晚清一处私家豪宅，其精美简直就是一所民间工艺珍宝馆。即使历史发展到今天，参观过胡雪岩故居，对比其他房产商开发的所谓豪宅，皆是浮云。

其装修风格有着 “贵精而不贵丽，贵新奇大雅，不贵纤巧烂漫”的特征。且凝结着自然质朴、清新典雅、明丽简洁的乡土气息。在古建范畴，它的艺术内涵可谓贯穿种种，无所不包。其建筑融历史、哲学、力学、美学为一体，二层为梁柱式木结构房屋的整体建筑形式，构成了典型合理的梁柱式木结构建筑与砖石窑洞式建筑相结合的建筑形式，且结构附件装饰均绚丽精致、雍容典雅。

如穿廊上的斗拱、额枋、雀替等处的木刻及柱础石、墙基石等石刻装饰，形式多样，做工极佳。外观，堡墙高筑，顺物应势，形神俱立，气宇非凡。入屋观览，庭院深巷，曲幽多变，巧妙连缀，有如迷宫。真是博大精深壮观，天工人巧地利。

整个故居设计巧妙，施工精细，布局紧凑，由上而下，浑然一体。对外严于防患，院内互相通联，园内三院暗道相通，四周围墙高耸，对内相互通联，对外严于防患，整个建筑设计奇妙，工艺精湛，布局合理，浑然一体，是汉民族建筑的瑰宝之一。

斯人已逝，其物犹存。胡雪岩故居当年他在这里享受皇帝一般的待遇，十几个小妾每天陪睡都学习皇上翻牌子，然而，随着他被李鸿章搞败落之后，房屋也是几易其主，历经沧桑。先后被学校、工厂占用，还曾经搬进来了135户居民入住。后来由于长年失修，建筑物毁损严重。市政府决定重修胡雪岩故居，重修原则是严格遵循“不改变原状”的原则，按原样、原结构、原营造工艺、原使用材料、修旧如旧的要求来恢复建设的，因此，今天，呈现在我们面前的修复后的故居，基本再现了120多前胡雪岩故居历史的风采，再现当年富豪家庭的繁华景象。