祖君彥不覺贊嘆說道：“真是精兵、精騎！蒲山公，仆在東平時，也曾見過張須陀帳下的精騎，如秦瓊、羅士信、蕭裕等部的精騎，俺都見過。此百余騎與比，不相上下！”
楊得方笑道：“君有所不知，此百余騎正是張須陀帳下舊部。”
“俱是張須陀帳下舊部？那就難怪了！難怪這等精銳。蒲山公，大海寺一戰，公大敗張須陀，當時仆聞訊得后，其實那時就想來投公了！只是身在郡府，不得機會。”
祖君彥盡管才名播於海內，出身也不錯，他的父親祖珽是北齊末年時的權臣，其族為范陽祖氏，亦由晉以來的北地名族，——聞雞起舞的祖逖即是出自此族，西晉末，衣冠南渡時，范陽祖氏的家族成員和北地別的士族一樣，也是分有不同的選擇，祖逖等去了江南，祖君彥的祖上留在了范陽，出仕於十六國、北朝的歷朝歷代，但因祖君彥父親祖珽的緣故，入隋以后，祖君彥在隋的仕途卻極其不順。
北齊有個名臣、名將，名叫斛律光，忠心為國，是北齊的中流砥柱，結果卻因祖珽的讒言，被北齊的末帝高緯給殺掉了。斛律光能征善戰，為人忠直，縱是北齊的敵國北周的君臣也敬重他。后北周滅掉北齊之后，周武帝宇文邕兵入鄴城，追贈斛律光上柱國、崇國公，說道：“此人若在，朕豈能至鄴？”鄴縣，是北齊的都城。這么樣一個連敵國都敬重的人物，卻死在祖珽的讒言下，祖珽在北齊亡前就死了，然卻因此導致了其子祖君彥受到牽累。
薛道衡賞識祖君彥的才學，文帝楊堅朝時，就向楊堅推薦過祖君彥。
隋之肇建，代的是北周，北周滅北齊之戰，楊堅跟著宇文邕有參加，因楊堅對斛律光的死也是感情復雜，去一強敵，自是好，但如此個英雄人物，死在小人之手，亦可惜，厭屋及烏，遂拒絕了薛道衡的舉薦，說道：“是非殺斛律明月人兒邪？朕無用之。”
——明月，是斛律光的字。
楊堅不用祖君彥，到了楊廣繼位后，楊廣一則因楊堅不用其之由，二來楊廣善忌，心胸不寬闊，他有文采，他就見不得別的比他更有文采的人，於是也不用他。
說來實是“空懷才華、蹉跎下流”，以致祖君彥到投李密前，也僅才在東平郡府任了個小小的書佐，檢校宿城令。“檢校”者，代理之意。兼個縣令的官，還是代理。亦所以，前時東平郡被瓦崗義軍的別部打下后，李密的一道召書送到，祖君彥立刻就動身，趕來相投李密了。
不過話說回來，得召書后，即動身來投這事兒是不假。
祖君彥所言之“聞李密大海寺一戰，大敗張須陀時就想來投”的這話，卻不是真的了。
大海寺一戰，瓦崗義軍雖然打贏了，可說到底，亦無非是一場勝仗而已。大業九年以今，各地義軍打過的勝仗多了。一場勝仗，就算張須陀外有威名，也不代表什么，不代表李密就一定能夠成事。因而，祖君彥那個時候，實際上是尚無來投李密之念的。
現李密打下了興洛倉，這就不同了。
一座大倉，兩千多萬石糧，便是個傻子也能看出，李密以此為資，怕是真能成事了。
對祖君彥的這句話，李密何等聰明，焉會不知只是一句“客氣話”？卻沒拆穿他，只笑道：“大海寺戰后，俺就有心請君前來，唯那時俺已在謀劃取興洛倉，軍務繁多，因無暇余。”
房彥藻笑道：“佛云‘機緣’。早請不如晚到。祖君今至，可謂是恰當其時。”
祖君彥問道：“孝朗，卿此話怎講？”
“日前得報，東都的楊侗孺子、段達、元文都等已得昏君之令，在洛陽廣募兵馬，將來攻我。這一場仗，事關興洛倉的得失。若是輸了，興洛倉難保；若是打贏，我軍的根基便穩，以此倉糧為仗，足可與東都爭鋒。君素有智名，今正好可為蒲山公出謀劃策，以補我等之不足也。”
祖君彥說道：“越王等在洛陽，現正廣募兵馬，將來進犯？”
“是呀。”