辛毗的策略，如同一劑猛藥，短期內確實鎮住了幽州基層那些『占小便宜』的歪風邪氣。
烏桓鮮卑等胡人的耿直、不通人情、令行禁止的特性，在維持基本秩序上展現出了驚人的效率。
物資發放點秩序井然，田畝間的偷盜現象銳減。
趙云肩上的壓力似乎減輕了一些。
然而，這劑猛藥的后勁，卻比預想的更為猛烈和復雜。
隨著這些胡人短期內的作用，『胡虜欺壓漢民』的輿論，宛如暗流洶涌一般，在幽州薊縣左右翻滾而起。
烏桓戰士執行任務時的『不近人情』的武力威懾，在普通漢民心中迅速發酵。他們不會去想那些被制止的插隊者、偷苗賊本身的錯誤，只會看到『胡人』粗魯地將『漢人』像牲口一樣拎起、丟開，甚至按倒在泥地里。漢人強烈的民族自尊心受到了極大的傷害。
街頭巷尾，田間地頭，『胡虜兇橫』、『欺凌我漢家子民』的抱怨和恐懼開始彌漫。
這種怨氣雖不敢當面發作，卻在私下里迅速積累、傳播，而且這種怨氣，正是幽、冀二州那些被暫時壓制或未被重用的漢人士族子弟，尤其是那些投降而來、心懷不滿或自視甚高者，等待已久的突破口。他們敏銳地抓住了這個能打擊趙云、辛毗威信，并彰顯自身『漢家正統』立場的機會。
他們在茶肆、宴席、甚至給親友的書信中，痛心疾首地抨擊趙云、辛毗『任用胡虜，監臨漢民』的制度，是『倒行逆施』，『有違圣人之道』，『使華夷之防蕩然無存』云云。
他們引經據典，從孔子『夷狄之有君，不如諸夏之亡也』到孟子『吾聞用夏變夷者，未聞變于夷者也』，將趙云的政策上升到破壞儒家倫理綱常、動搖華夏根本的高度。
這些士族子弟們將烏桓人維持秩序時不可避免的強硬手段，哪怕未造成重傷，也被刻意的放大、渲染，截取片段進行反復強調。將個別烏桓戰士因語言不通、理解偏差造成的誤會，描繪成普遍性的『胡騎肆虐』、『草菅人命』。聲稱趙云此舉是『以夷制夏，其心可誅』，比幽州冀州的戰亂還要更令人心寒！
『恰巧』，幽州的這些普通百姓也不明白事情的真相究竟是如何，故而士族子弟的這些渲染，又正巧切中了這些普通百姓所擔憂的，所害怕的心理弱點……
于是這些士族子弟越發的昂揚起來，他們預言這種做法必將導致『漢民離心離德』，『使幽州百姓視驃騎如仇寇』，并且表示這么做一定會嚴重損害驃騎在幽州在冀州的統治根基。然后在集市上，在酒館之中振臂而高呼，表示他們代表了民意，代表了百姓要質問趙云，質問辛毗，『幽州百姓若連最基本的尊嚴都無法保障，如何能讓民眾真心歸附？』
而在這些輿論翻涌的同時，被賦予一定『執法權』，盡管有限的烏桓人，心態也在悄然改變。
這些胡人，也從最初的單純執行命令，到逐漸感受到一種凌駕于部分漢民之上的『權威感』。
雖然趙云嚴令禁止私刑，但面對漢民的抵觸、謾罵甚至小規模挑釁，比如吐口水、故意擋路等行為，部分性格本就剽悍的烏桓戰士難免會反應過度，引發更激烈的沖突。
『胡人打人啦！』
『胡人殺人啦！』
類似這樣的聲音響起的時候，無論真相是誰的對錯，都會被士族和心懷不滿的漢民無限放大，坐實『胡虜暴虐』的指控。
在這樣的情況下，原本負責基層管理的漢人小吏，地位變得十分尷尬。一方面，他們需要依賴烏桓人的武力威懾來維持秩序，當然這也讓他們感到無能或屈辱；另一方面，他們又夾在烏桓人的強硬和百姓的怨氣之間，成為雙方不滿情緒的宣泄口。