在接下香山飯店的設計任務之后，貝聿銘以一貫的認真細致的作風，不但多次到香山勘察地形、攀登峰頂、俯覽周圍環境，而且不辭勞苦地走訪了北京、南京、揚州、蘇州、承德等地，考察當地的大建筑和園林，最后采取了建筑一系列不規則院落的布局方式，使它與周圍的水光山色，參天古樹融為一體。
在整體上，采取中國園林慣有的對稱軸向布局，香山飯店有一條中軸線貫穿廣場式的前院、常春四合院和后花園，而軸線兩旁的建筑結合古樹保護，布置相對自由。
在功能上分為四個主要的功能區:公共活動區、后勤供應區、客房區和游憩區；公共活動區以常春四合院為主體居中，與其它三個功能區取得緊密、簡捷的聯系；后勤供應區緊挨公共活動區并靠近交通道，聯系方便。客房區采用水平方向延伸布置，曲曲折折，走道很長，但走道上多半有景可賞，這也使得客房周邊各自獨立的庭院由于人的視線移動而有了連續性。
在形式上多采用幾何圖形，在通往香山飯店的道路兩旁，坐著一個個由花崗石正方體構成的燈具，在正方體的四個側面，各挖了一個圓圖；繼續前進到達引橋時，牌坊是由三種正方形組成的圖；進入前庭廣場，正中是一個圓形停車池，池底正方形分塊，每塊正方形上排列著許多圓形鵝卵石。
回車道的兩邊，豎立著兩盞由正方形組織成的宮燈和圓形燈座，進入香山飯店內部，處處都是正方形和圓，圓和正方形，正方形里有圓，圓里有正方形，總之，人們所到之處，都能看到正方形的和圓，建筑圖形的重復出現是香山飯店設計的長處。
在色彩的處理上，室外以白色為主，灰色為輔，儲色點綴，大廳的墻面是白色，門窗套及其聯系的線條、屋面、壓頂等等面積較小而勾劃建筑輪廓的用灰色磚勒腳、裝飾性的鋪地用儲色花崗石、鵝卵石。
室內也是這三種顏色，總的來說仍以白色墻面和頂棚為主灰色的比重加大了，地毯和主要家具如床、沙發等都用灰色，以獲得室內柔和感儲色分兩類，一類色調偏黃，用于硬木裝修，另一類偏熟褐，用于中餐廳的硬木裝修和仿明家具；室內室外，三種顏色，使建筑內外非常統一和諧。
建筑融合自然的空間理念，主導著貝聿銘一生的作品，這些作品的共同點是內庭，內庭將內外空間串連，使自然融于建筑。
香山飯店是貝聿銘試圖以現代主義建筑的設計手法來表達中國文化特征的一次嘗試，一次不算成功的嘗試。
再直白點，就是貝聿銘先生試圖開創性的解決“新中式”建筑問題，貝聿銘先生的意愿是美好的，但就香山飯店這個結果來說，應該是遠遠沒有達到他自己對這個作品的預期。
雖然貝聿銘出生于中國，小時候還在獅子林園這樣優美的江南園林中生活過，但是他畢竟離開這片土地太久了，盡管回國后去了很多地方考察學習，但要想在這么短的時間里就把握住中國建筑的精髓還是太困難了些。
多年以后，貝聿銘對建香山飯店是自責的，他說，“香山這個樹木，水啊，都是很美啊，很多樹木啊幾百年了，所以香山的挑戰是最好不動它，所以擺一個建筑在里面，我覺得已經錯了，香山飯店我不應該做。”
當然他同時還說了，“可是已經做了，也是一個經驗，我不做香山，我在蘇州就沒那么把握。做錯了以后啊，有機會可以改，蘇州是給我這個機會。”如果沒有香山飯店，或許也就沒有日后的蘇州博物館。
至于缺點，除了貝老承認的這些之外，最飽受詬病的要數建筑成本的問題，貝聿銘為了特殊的建筑效果，不惜采用磨磚對縫這樣的傳統手工做法，大大提高了建筑的造價，極端例子是灰磚價格高達每塊十元人民幣。