皇甫嵩出身于將門世家，祖父皇甫旗曾擔任東漢扶風郡都尉，父親皇甫節曾擔任東漢雁門郡太守，叔父皇甫規曾擔任東漢度遼將軍。
皇甫嵩年輕時有大志，文武雙全，喜歡閱讀《詩》《書》，擅長弓箭騎術；
他最初先后被州郡舉薦為孝廉、茂才，太尉陳蕃、大將軍竇武都曾先后征召他為幕僚，他都沒有就任。
漢靈帝劉宏以公車之禮征召皇甫嵩為議郎，不久又升任北地郡太守。
中平元年，黃巾軍叛亂，黃巾軍首領張角、張寶等人聚眾數十萬人，劫掠州郡，殘殺官吏，青州、徐州、幽州、冀州、荊州、揚州、兗州、豫州等州郡的百姓紛紛響應，朝野震動。
朝廷詔命各州郡修筑城池，整頓器械，以防備黃巾軍進攻。
同年三月，漢靈帝劉宏主持朝議，皇甫嵩建議解除黨禁，拿出宮中藏有的錢財及西園中豢養的馬匹，以賞賜將士，激勵軍心。
“劉宏聽從，又詔命征召天下兵馬，選拔將領，任命皇甫嵩為左中郎將，持有節仗，與右中郎將朱儁等人一起討伐黃巾軍。”
“同年四月，皇甫嵩、朱儁各自統率一支軍隊，共計兵馬四萬人，前往征討潁川郡內的黃巾軍。”
“朱儁率領前軍與叛軍將領波才交戰，戰敗，皇甫嵩進兵據守長社城。”
“叛軍將領波才率兵圍城，皇甫嵩兵力不足，將士恐懼，皇甫嵩于是召集將士，表示用兵變化不在于士兵人數的多少，如今叛軍依草結營，可以采用火攻；”
“如果在夜里發動襲擊，縱火焚燒敵營，叛軍必然大亂，到時再出兵攻擊，四面合圍，就能取勝。”
“傍晚時分，皇甫嵩借助大風，下令全軍士兵都攜帶雜草等候出城，又命令精銳士兵率先出城潛入敵營外圍，縱火焚燒敵營，與城中的士兵舉火為號。”
“皇甫嵩趁勢擊打戰鼓，率軍進攻，叛軍受到驚擾大亂，紛紛四散奔逃。”
“同年五月，恰逢劉宏派遣騎都尉出城率軍前來，皇甫嵩與曹操、朱儁合兵一處，繼續對叛軍發動進攻，大破黃巾軍，斬殺敵軍首級數萬。”
“戰后，皇甫嵩因功封為都鄉侯。”
“皇甫嵩、朱儁乘勝追擊，繼續率軍進討汝南郡、陳國兩地境內的黃巾軍，追擊叛軍將領波才抵達陽翟縣，又在西華縣擊敗叛軍將領彭脫，黃巾軍殘部或投降，或潰逃，潁川郡、汝南郡及陳國境內的黃巾軍都被平定。”
“同年八月，皇甫嵩率軍在倉亭擊敗另一支黃巾軍，俘獲叛軍將領卜巳，斬殺七千余敵軍首級。”
“當時，北中郎將盧植及東中郎將董卓率軍討伐河北境內黃巾軍首領張角，無功而返，劉宏于是詔命皇甫嵩進兵討伐河北境內的黃巾軍。”
“同年十月，皇甫嵩與張角之弟張梁在廣宗交戰，叛軍驍勇精銳，皇甫嵩不能取勝。”
“次日，皇甫嵩關閉營門免戰，以觀察敵人動靜，等到叛軍松懈之時，皇甫嵩連夜調兵發動攻擊，大破敵軍，斬殺張梁，斬獲敵軍首級三萬余，被河水淹死的敵軍五萬余人。”
“皇甫嵩又下令焚毀叛軍輜重車輛，俘虜叛軍家屬及部眾；”
“此時張角已經病死，皇甫嵩將其剖棺戮尸，并將首級傳示京師。”
“同年十一月，皇甫嵩又與巨鹿郡太守、右馮翊郭典合兵攻擊駐扎在下曲陽縣的黃巾軍，斬殺黃巾軍首領張寶，斬獲敵軍首級十萬。”
“皇甫嵩因功升任左車騎將軍，兼任冀州牧，晉爵為槐里侯，封邑八千戶。”
“黃巾軍平定后，漢靈帝劉宏改年號為中平。”
“皇甫嵩又上奏，請求減免冀州地區百姓一年田地賦稅，以賑濟饑民。”
“劉宏采納，冀州百姓感激皇甫嵩，作歌謠以稱贊其仁德。”