只不過杜伏威并沒有自立為帝、角逐中原的打算，于是成為眾多勢力拉攏的對象，最先拉攏他的是宇文化及，封他為歷陽太守，宇文化及的吝嗇卻激怒了杜伏威，他立刻投降了洛陽皇泰帝楊侗，皇泰帝封他為楚王，兼淮南六郡兵馬大總管，出手比宇文化及大方得多。
但過不了多久，楊倓就被王世充謀朝竄位了，他所效忠的南隋王朝自此消失。
這些日子，不僅王世充派使者來拉攏，甚至連李淵也派使者前來游說，希望他能投降唐朝，李唐開出的條件極其優厚，打算封他東南道行臺尚書令、江淮軍事大總管、上柱國，加封楚王
但杜伏威卻處于猶豫之中，因為如今的天下局勢已經逐漸了明朗起來，將來統一天下者要么是大隋楊侗、要么是李唐李淵，至于王世充、竇建德、蕭銑之流他也看不上。
相對來說，他更看好壓著李淵和突厥揍的大隋王朝，但是縱橫捭闔的大隋王朝一直沒有理會過他們，如果接受李淵招降吧，又怕李淵承受不了大隋王朝的威力，到那時候恐怕也跟著李淵遭殃，所以他一直處于猶豫之中，前兩天，他和輔公祏甚至還打算派人去鄴城探探大隋圣武帝對他們的態度。
此時，他正在房間內批示各郡上奏文書，一名侍衛在門口稟報道：“啟稟大將軍，北城查獲一名來自北方的皮毛商人，來人自稱是隋朝特使。”
杜伏威‘啊’的一聲，又驚又喜的站了起來，隋朝不負他之所盼，果然還是派特使來了，他連忙道：“快將大隋使者驛館休息，要以禮相待。”
“喏。”侍衛匆匆離去了。
杜伏威激動難平，雖然他沒有立刻投降大隋王朝的意思，但隋者的到來使他有了更大選擇，可以從容在隋唐之間考慮自己的前途，想了想，又令人將輔公祏請了來。
不大一會兒，一名四十多歲的大漢快步走到了進來，這名大漢便是杜伏威的親密戰友輔公祏，他在路上已經聽說隋使到來，便匆匆趕來。
盡管兩人私交情同兄弟，但在權力劃分上杜伏威是主、輔公祏是副。沒人在時，杜伏威會稱輔公祏為大哥，但有外人時，他和眾人一樣稱輔公祏為二將軍。
“大哥請坐。”杜伏威親切的說道。
輔公祏走進房間：“聽說隋使來了？這么快就談好了？”
“沒有。”杜伏威搖了搖頭，道：“我讓他們先到驛館休息，想先聽聽大哥的意見。”
輔公祏笑著入座。
兩人在前途問題上的分歧很大，輔公祏反對投靠他人，當初之所以贊成投降皇泰帝楊倓，是因為楊倓太弱，控制不了他們，而他們卻可以借楊倓的冊封，從草寇變成官員，道理就跟李密接受魏王之封一樣，他們都需要名正言順。
但現在則不一樣了，不管是大隋還是李唐，都是勢力強大的諸侯，不管他們投降任何一人，都會遭受實際控制，如果反悔就會給對方殲滅的口實，所以輔公祏非常謹慎，他希望杜伏威拒絕任何人的招攬，效全力南下，創立一番基業。
待到天下徹底明朗再做決定，如果隋唐和李密誰也奈何不了誰，則主張仿效三國東吳，于南方自立一國，畢竟他們有自立的天然條件，又何必去受人窩囊氣？