中平五年（188年），朝廷正式任命劉虞為幽州牧。并下詔發南匈奴兵，跟隨劉虞討伐張純。結果南匈奴發生內亂，單于被殺。[30][41]劉虞到達薊縣，精簡了部隊，廣泛布施恩惠，派遣使者告峭王等人朝廷將寬大處理，可以免除他們犯下的罪責，又懸賞通緝張舉、張純二人。丘力居等人聽說劉虞到了，紛紛派遣使者前來溝通歸附之事。張純二人逃到塞外，其余的也或降或散。公孫瓚擔心劉虞立功，暗中派人在途中暗殺這些使者。外族得知此事后，便繞道到劉虞處。[6][29]
中平六年（189年）三月，張純被手下王政殺死，首級被送到劉虞處。[4]漢靈帝劉宏派使者升劉虞為太尉，封容丘侯。[5]劉虞先是推讓，并舉薦衛尉趙謨、益州牧劉焉、豫州牧黃琬、南陽太守羊續擔任此職，但劉宏最終還是拜劉虞為太尉。[6][8]
永漢元年（189年），董卓專權，派使者授予劉虞大司馬，進封襄賁侯。
初平元年（190年），董卓拜劉虞為太傅，召他入朝任職。但因道路阻塞，任命竟不能夠到達。[11]
過去幽州因為地處邊疆，與異族接壤，每年開支很大，常常要用青、冀二州的兩億多稅收來補充幽州財政。當時因戰亂交通斷絕，無法調度金錢。劉虞在幽州追求寬政，勸導百姓種田，并在上谷與外族互市，還發展了漁陽的鹽鐵業，百姓熱情高漲，糧食豐收，一石谷只賣三十錢。青、徐的士人百姓為避黃巾之難，來歸附劉虞的有百余萬口，劉虞都收留撫恤，為他們安排就業，流民們都像回到了家一樣。劉虞雖為上公級的高官，但天性愛好節約，穿著破舊的衣服，一頓飯都不吃一道以上的葷菜。遠近原本作風奢侈的豪族，都被他感化而改變風氣。[9]
公孫瓚奉命征討烏桓時，受劉虞的節度。公孫瓚只注重自已的部隊強大，放任部曲侵擾百姓，而劉虞注重仁政，很關愛百姓，于是與公孫瓚之間逐漸出現了矛盾。
當時，天下群雄起兵討伐董卓。議者認為，漢靈帝劉宏失道，致使天下叛亂。漢獻帝劉協年幼，是賊臣董卓所立，遠在長安，又不識母氏所出。關東和長安遠隔關塞，不知存亡，天下心無所歸。而幽州牧劉虞宿有德望，是宗室中最賢明的，袁紹、韓馥等人便準備擁立他為皇帝。[13][38]
韓馥為立劉虞為帝，寫信給袁術說當今天子不是孝靈皇帝劉宏的兒子，自已打算依照絳侯周勃、潁陰侯灌嬰誅廢少帝劉弘迎立代王劉恒故事；又稱劉虞的功德治行，華夏少二，當今公室枝屬無人能比得上他。還說：“過去光武帝距離長沙定王五世，以大司馬領河北，耿弇、馮異勸他即尊號，卒代更始。如今劉公（劉虞）是東海恭王（劉彊）的后代，與恭王也相隔五世，他以大司馬領幽州牧，這就和光武帝的情況相同。”當時有四星會于箕尾，韓馥聲稱有讖語說“神人將在燕分。”又說濟陰男子王定得到玉印，文曰“虞為天子”，還說見到代郡出現兩個太陽，是劉虞代立的征兆。[31]
初平二年（191年）春季[39]，韓馥、袁紹派前樂浪太守甘陵人張岐等人帶著提案，勸劉虞稱帝。劉虞正色厲聲呵斥張岐等人道：“你怎敢出此言！如今天下崩亂，主上蒙塵。我受重恩，卻不能盡忠孝之道，未能竭命清雪國恥。還望與諸州郡忠烈義士戮力向西，迎回幼主。諸君各擁州郡，應該盡忠王室，豈能如此心懷逆謀，玷污忠臣呢！”袁紹等人又勸劉虞領尚書事，承制封拜，劉虞不聽，欲圖奔往匈奴以斷絕關系，袁紹等人才作罷。但劉虞仍與袁紹他們聯合。之后，劉虞奉職修貢，對朝廷更加恭肅；各國各族向朝廷進貢，道路不通，劉虞都幫他們送到京城。[13][31][40]（另一說，韓馥等人請劉虞領尚書事，劉虞將使者收斬。[13]）
當時，漢獻帝劉協身在長安，劉虞派田疇與鮮于銀出使長安。劉協想要東歸，見到田疇等人后非常高興。當時劉虞的兒子劉和在皇帝身邊做侍中，于是劉協派他偷偷地潛出武關，去找劉虞讓他帶兵來救。劉和途經南陽，向后將軍袁術說明天子之意，結果反被袁術扣留。袁術派遣別的使者去找劉虞，說要一起派兵西進迎接天子。劉虞于是派遣數千騎兵到袁術那里，而袁術竟自已留下不予派遣。
起先，公孫瓚看出袁術耍詐，堅決制止劉虞派兵，而劉虞不聽從，公孫瓚就偷偷派人勸袁術扣留劉和，并吞并劉虞派去的部隊。劉虞得知后，與公孫瓚間的仇怨就更深了。不久，劉和找機會從袁術那逃跑北上，結果又被袁紹扣留。當時，公孫瓚已經多次被袁紹擊敗，還不斷地進攻。劉虞嫌公孫瓚過于窮兵黷武，怕他成功后就不好控制了，于是不許他再次出兵，并稍稍削弱了他的權限。公孫瓚大怒，屢次違反命令，又開始侵犯百姓。劉虞準備賞賜給游牧民族的物品，多次被公孫瓚搶奪，劉虞不能制止，于是上報朝廷訴說公孫瓚掠奪百姓的罪行，公孫瓚也上表告發劉虞辦事不利，兩人相互指責，朝廷也無力處理。公孫瓚在薊縣大城東南修小城，與劉虞相近。劉虞幾次邀請公孫瓚，他都稱病不來，于是劉虞密謀征討他，先把這事告訴東曹掾魏攸。魏攸說：“如今天下引領，把您當作希望。謀臣爪牙，不可缺少。公孫瓚的文韜武略足以依靠，即使有小惡，也當暫且容忍。”于是劉虞停止動手。一年后，魏攸病死，劉虞又打算討伐公孫瓚。