石虎不僅對漢人狠，對自己人也狠。十歲的兒子石邃與石虎不和，石虎便親手殺了兒子，還將兒子一家26口人一起殺掉，埋進一個棺材里。
之后石虎又復立兒子石宣為太子。但是石宣也反對他，于是石虎就把石宣一家也殺光了。連殺兩個兒子之后，石虎選擇冊立了年僅10歲的幼子石世為皇太子，埋下了后趙內亂的伏筆。
那么這時候的冉閔又在干什么呢？他在和東晉打仗。公元339年，石虎帶著兒子石遵、養孫冉閔出兵攻打東晉的諸城。
東晉國宗秀因量收到諸城求救后置若罔聞，最終導致諸城失陷，6000人戰死。冉閔在此戰中大敗晉軍，從此和東晉結下了梁子。
10年后，石虎去世，太子石世年幼，劉太后和丞相張豺專權，后趙迅速陷入內亂之中。
石虎生前很喜歡石遵和石斌兩個兒子。他倆比石世年長，實力也很強大。劉太后為了消除隱患，假傳圣旨將石斌殺死，又封石遵為彭城王，試圖安撫。
作為后趙大將的冉閔極力勸說石遵殺回首都鄴城奪取大權。石遵非常高興，就對冉閔說，事成之后我就讓你做太子。誰也沒想到，就是這一句話引發了后面的血流成河，尸橫遍野。
石遵有九萬大軍，還有冉閔當先鋒，氣勢洶洶直奔鄴城而去，劉太后和張豺無力抵抗，只好開成投降，是遵村篡位等級，封冉閔為都督中外諸軍事輔國大將軍錄尚書事，輔佐朝政，又立石斌的兒子石衍為皇太子，這讓冉閔非常失望。
論輩分，冉閔和石斌都是石虎的侄子，但冉閔并非石虎親生，雖有擁立之功，但論法統終究還是不如石衍。因此，石遵和冉閔產生了隔閡。冉閔極力將朝中大權攬在手中，試圖把石遵架空，而石遵也開始對冉閔不滿，并找來三哥石堅商議搶奪冉閔的權力。
沒想到石堅竟然向冉閔告密，冉閔派人帶兵進宮殺了石遵，擁立石堅為帝。冉閔雖然當時還叫石閔，但在血統上只能算是外人。他兩次廢立皇帝，視后趙皇權為兒戲的態度招來了后趙宗室的痛恨，其中就包括皇帝石沖。
那么接下來冉閔又會如何應對后趙宗室的挑戰呢？沒過多久，石堅派人暗殺冉閔，不僅沒有成功，反而引起了冉閔的警覺。為了不讓冉閔發現此事是由自己策劃，石堅沖只能忍痛殺死了參與者，其中甚至還有他的親弟弟石苞。
緊接著石堅的另一個弟弟石祗集結大軍討伐冉閔，留在鄴城的后趙宗室也有人試圖行刺冉閔，都被冉閔打敗。
以上我們可以看出冉閔的掌權基礎相當薄弱，后趙宗室都不服他，對他群起而攻之，甚至還發生了有人想挾持天子石堅討伐冉閔的事情。
為了根除后患，冉閔帶領數千人馬沖進宮中，囚禁了石堅，絞殺了叛軍。這場政變把皇宮殺得血流成河，尸橫遍野，城中無人，紛紛逃亡。
冉閔知道這些無人不會服從自己的統治，于是頒布了歷史上最具有爭議性的殺胡令：無貴賤，男女少長皆斬之。這場前所未有的殺胡行動造成死者20余萬，其中還包括不少已經胡化的漢人。
他們的尸體在城外堆積，無人善后，只能被野犬豺狼分食。這道殺胡令在歷史上一直都是褒貶不一。首先，后趙石虎的統治極為殘暴，中原百姓生活悲苦，民族矛盾非常嚴重，這是冉閔發起殺胡令的現實基礎。
其次，冉閔的身份卻非常尷尬。他是石虎養孫，又是漢人血統，在羯胡人看來此人非我族類，其心必異。但是在中原漢人看來，冉閔和那些羯胡人沒什么兩樣。