翠華山的書院建筑坐北朝南，中軸線依序為集賢門、太學門、政和堂、敬一亭。
主體建筑兩側有二廳六堂、御碑亭、鐘鼓樓等，形成傳統的對稱格局，這是杜構借鑒長安城街坊的格局而建的。
前院東側有敬持門與孔廟相通，構成左廟右學的格局。在夾道上立有經刻石，包括周易、尚書、詩經、周禮、儀禮、禮記、論語、孝經、孟子、爾雅共計十部。
院內除了建有射圃、倉庫、醫所、倉庫外，教室、藏、宿舍、食堂，就規劃了兩千余間。
但這里最引人矚目的就是到處都種著槐樹。走到一顆槐樹下拍了兩下后，轉身對杜構笑道：“真是該對你杜輔民刮目相看了，連面三槐，三公位焉這道理都懂了。”
李承乾說著話是有出處的，自周代起，就有“面三槐，三公位焉”之說，即在皇宮大門外種植三棵槐樹，分別代表太師、太傅、太保的官位。
古人的所謂:“登槐鼎之任”，即三公之位。所以在歷朝歷代，人們就把國槐視為“公卿大夫之樹”。
在長安的太學里也廣植槐樹，喻示著監生們可以考中高官之意。在周代，國子監的內外就廣植槐樹，所以在歷代的國子監內外就沿周禮之制，都廣植槐樹。
自隋朝實行科舉制以來，其科考的考場叫“貢院”，因為是給國家遴選人才的地方，所以在貢院里也是廣植槐樹。
杜構苦著臉說道：“殿下，這都是李師和張師傅的注意，臣可不敢居功。”
李承乾這么說到事戳到杜構的痛處了，為這事李剛和張玄素拿著拐棍差點沒給他腿給打折了。
所以在他的逼問下，杜構道出了原委。原來這里都是柳樹，杜構為了省錢所以就沒動。
柳樹因通“留”，故有惜別之意。是傳說中四大鬼樹之一，有聚集陰魂的之說。柳樹為陽性樹種，在民間多用于避邪及招風水。
隋煬帝登基后，下令開鑿通濟渠，虞世基建議在堤岸種柳，隋煬帝認為這個建議不錯，就下令在新開的大運河兩岸種柳。
并親自栽植，御書賜柳樹姓楊，享受與帝王同姓之殊榮，從此柳樹便有了“楊柳”之美稱。
可李剛和張玄素可不這么看，他們認為這書院是為國家倫才的地方，是國家盛世和文脈的延續的象征。怎么能種這樣招鬼，亡國之樹的呢。這是對圣人的不敬。
眾人聽后紛紛捧腹大笑，杜構現在也是朝廷大員了，竟然因為幾棵樹錢被老夫子攆著打，真真是好笑之極。
“好了，你們不要笑了。”，李承乾擺擺手示意大家不要取笑杜構。
“輔民是勤儉持家，這本就是美德。發生了這樣的事不過是因緣際會罷了。不過李師他們也沒有錯。
雖然花了一些錢財，但書院是朝廷教育興國的根本，百年大計，馬虎不得。你們今后也要時時注意才是。”
“諾，臣等謹記殿下教誨”，杜構，趙節，許敬宗等人紛紛應諾。
隨后李承乾等人有檢查了那些還沒有完工的地方。無論是從用料到施工速度上，杜構安排的都讓李承乾十分滿意。