朝議改元中平。
太祖開府，拜韓當為衛將軍屬司馬；呂范為衛將軍長史；婁圭、戲忠為衛將軍從事中郎，王修、棗祗為衛將軍令吏，魏越為領官騎。時河內屢遭匪患，聞太祖至，盜賊逃匿，士民鼓舞，沿途見白馬轍簞瓢迎之。太祖素聞河內司馬直有賢名，即往訪之，相談甚歡。直薦張氏三子范、承、昭，及常林、韓玄、楊俊、王象、韓浩、方悅、郝萌、趙咨、司馬朗等，太祖皆辟之。一時俊杰畢集。官寺之中，芝玉遍植；廨房之內，琳瑯滿目。太祖坐而觀之，大喜曰：“河內英杰，盡入吾彀中矣！”
居數月，河內將治。而洛陽南宮罹于祝融，靈帝詔天下納修宮錢每畝十文。太祖不豫，然尤勉力為之。不數日，又詔各州郡發材木文石，部送京師。太祖大怒，欲抗其亂命，忽聞河北黃巾復起，前鉅鹿太守郭典戰歿。又聞朝廷迫司馬直為鉅鹿太守，直不忍為，至孟津，仰藥而死。太祖急馳孟津，于河上逢公孫范，言劉寬已薨，后事盡托太祖，有遺書予之。太祖奉書泣涕，乃入洛求辭，靈帝許之。太祖于是遍售洛中產業，得千金，盡沽美酒，言劉師好酒，請往吊者俱飲一觴。扶靈至孟津，將別，與眾割瓶對飲，誓不出一文錢買官，而終將復還，廓清朝廷。時袁紹在側，聞而大異之，遂以太祖為勁敵。
太祖往葬寬王屋山下，已畢，自北返遼西，常林、韓浩自請從之。遺衛將軍印綬于洛，靈帝遣使追而與之。凡三次，乃受。行至趙國，流民多識白馬義從，遂尾隨從之，至于逾萬。太祖不忍棄之，分義從護之緩行而北。至廣陽，從者愈多，太祖慮其老弱者眾，不耐辛苦，遂改至昌平屯田，于其地立衛將軍府、白馬義從駐地及私學。與呂范以下皆自勞作，駢手胝足，夙興夜寐。抑制豪強，清丈田畝，查察隱戶，編練什伍，三年而其地大興。名士沮宗、杜畿、京澤等，俱往投之。
太祖居廣陽，聞涼州反復，傅燮殉難，常自喟嘆。稍傾，冀州刺史王芬以許攸為使，言廢立之事，太祖怒而斥之。及攸走，太祖臨星河而嘆，左右或知其意，俱勸：“天子昏亂，遂令君侯不容于朝。今天下已叛，而兵不足自守，幽州鄉里被君恩德，愿必從之。當安居廣陽，率厲義徒，見有道而輔之，以濟天下。”太祖大嘆：“天子固昏，然關西之亂，傅南容何辜？王芬之悖，冀州百官何苦？兼兩地黔首，固多牽累，當有所為。”左右遂止。
中平五年，冬，大將軍何進以信與太祖，言失兵權，或礙誅宦事，太祖聞之，自引私兵輕騎至河內，洛中北軍、西園多太祖舊部，紛紛來謁。洛中宦官聞之，乃語于靈帝，以詔付司隸校尉張溫，使其詔太祖入洛。及至，太祖懸劍于轅門，張溫見而嘆之，竟羞慚而走。十月，靈帝閱兵平樂觀，終不能勝，進乃重掌兵權。
十一月，涼州賊十萬入三輔，直逼長安。進以賊悍，非名將不可勝，乃雪夜過河往請太祖。感其誠，許之。遂拜太祖為將，詔發三河五校，整軍兩萬余西討。聞太尉府兵曹掾賈詡善謀略，征為軍司馬，掌軍律。五校閹宦子弟泰半，聞太祖為將，咸恐。至函谷關，有趙忠族弟趙延聚將不至，太祖持節立斬之。軍中震動，遂使如臂指。至雍縣，合皇甫嵩、董卓軍，立營汧水。堅壁高壘，固守不出，唯多發斥候日探賊動向。