根據旅游雜志上的描述，胡雪巖故居位于杭州市河坊街，建于清同治十一年（1872年），建筑面積五千八百多平方米。
胡雪巖故居從建筑到室內家具陳設，用料之考究，堪稱清末中國巨商第一宅。
古宅內有芝園、十三樓等亭臺樓閣。其中有一棟小樓，全部由金絲楠木所建，但是住在這幢樓里的不是他的正妻，而是他的小妾。
中國古代施行一夫多妻制，胡雪巖發跡后娶了30多個小妾。那金絲楠木搭建的房子是他最得寵的女人住的，金絲楠木從秦朝到清朝都是皇帝專用，秦朝的時候被用來修阿房宮，直至道光之前，金絲楠木的采伐一直為皇家所壟斷，將其作為御用之材。
在封建時代，商人歷來都是被人看不起的，胡雪巖能用得起金絲楠木修的房子，可見他當時多么顯赫。
胡雪巖打小放牛，父親去世后，13歲的他只得出外謀生。
胡雪巖聰明勤快，做事又踏實。因此在他19歲時，得到杭州阜康錢莊老板的賞識和信任。阜康錢莊老板把他收為學徒，并把錢莊里的許多事情，交給他打理。胡雪巖初在杭州城“仁德錢莊”做跑街
就在此時，胡雪巖認識了“候補浙江鹽大使”的王有齡。
王有齡出身官宦世家，但在他這一輩時，家道已經落。由于沒有錢上下打點，所以他在仕途上很不如意。
胡雪巖認為王有齡將來大有作為，于是私挪了錢莊500兩銀子給他，讓他去奔遠大前程，而他自己因為挪用公款被趕出錢莊，到湖州一帶販賣糧食。
有銀子開道，再加上王有齡的確很有才干，所以他很快便升任浙江巡撫。王有齡投桃報李，利用職權為胡雪巖廣開便利之門。
胡雪巖借著王有齡的權力，從一個小小的錢莊做起，生意越做越大。不僅開起錢莊分號，還涉足了許多別的行業。商號亦是越來越多，很快便成了浙江一帶有名氣的生意人。
然而1861年，曾國藩奉命清剿太平天國，等他終于攻克了軍事重鎮安慶，曾國藩想一鼓作氣，直搗太平軍都城天京。但就在此時，鎮守杭州的浙江巡撫王有齡卻遭到太平軍圍困，求情援助。曾國藩進退兩難，因為自身元氣還沒恢復，也不愿意錯過這個進攻天京的大好時機，于是想到了左宗棠。
左宗棠和曾國藩、李鴻章、張之洞并稱為晚清中興四大名臣，1850年1月，虎門銷煙被發配新疆的林則徐返回家鄉，約左宗棠在長沙舟中相見；兩人徹夜長談，涉及古今形勢、人物品評、“西域時政”。
1867年大清朝已是風雨飄搖，外有列強爭相欺辱，內有民間起義不斷，阿古柏更是在沙俄的支持下竄入新疆，建了一個名為哲德沙爾的***汗國，試圖把新疆的南部從中國清朝版圖上分裂出去，邊疆形勢刻不容緩。雪上加霜的是日本這個時候又在入侵臺灣，海防問題顯露，于是便有了海塞之爭。
清朝兩面受敵，李鴻章等人主張暫時放棄塞防，將塞防的銀兩用在海防上，而湖南巡撫王文韶則主張塞防，最后一派則是以左宗棠為主的海塞并重的觀點，無論是新疆還是臺灣都是中國的領土，不應就這樣放棄。
一旦失去新疆，西北門戶打開，河西走廊這個咽喉要道可不一定能防守住叛軍和沙俄。
如果新疆不早點收回來，俄國人早晚還會占蒙古、陜西、甘肅、山西。
就算持續交戰，陜甘的軍隊也會被長期牽制在那里，不僅耗費錢糧，也不能給海防任何幫助，只有主動出擊收復新疆才是最好的選擇，最終朝廷同意了左宗棠的建議，左宗棠抬著棺材去收復新疆去了。
雖說朝廷同意了，但是最終朝廷只撥款200萬兩，左宗棠需要自己籌錢。