于是二人在陘山上的子產廟結拜，共舉大事。
新鄭這里以前是春秋時鄭國都城，戰國時韓國也都于此，所以一直人文薈萃，便是鄭象、周貴也慕前人故事，要在子產的陵廟前發誓，共同進退。
兩人合兵后，人數有四百人。
周貴一方面找人南下去聯絡北上的泰山軍，一方面利用自己在城內的關系，不斷將部眾送入新鄭城內。
本來周貴還想給沖天大將軍張沖寫一封信的，但奈何他不識文，更不放心將如此重要的事找書生帶筆。在他樸素的認知里，此輩皆不可信。所以他就只好找了一個口舌伶俐的心腹南下。
周貴的運氣到底是有的，他的心腹南下沒多久就被泰山軍前鋒將于禁的哨探給俘虜了。
當得知新鄭城內有一伙人要反正，于禁忙令部將張達點選軍中善走士千人，隨此人火速北上，與城內反正的義軍取得聯系。
至于這伙人是不是漢軍假扮當然有可能，但于禁相信以張達的能力，是能判斷的。
當張達帶著千人北上后，在陘山與還留在城外的周貴、鄭象兩人匯合。張達在了解了二人起事的原因，覺得二人還是可信的。
于是，八月二十日，泰山軍張達部帥千人直接對新鄭城發動進攻。新鄭作為兩朝之都，城池要比一般的縣城要堅固得多。而且還有洧水作為城河，一般情況沒有一萬大軍，想打下新鄭那是不可能的。
但在城內周貴、鄭象二人的內應幫助下，張達只帥千人就殺入洞開的新鄭城。城內只有不到五百的縣卒，哪受得了張達的千人眾的兜殺，見城池守不住了，隨即四散而逃。
而彼時城破之際，新鄭令劉衡正在坐堂聽取各縣吏講今年秋收的情況。突然就見城內的游俠周貴渾身鮮血的殺入縣署，大驚，忙呵斥
“好大的狗膽，敢沖撞縣署。來”
還未多少，周貴就已經砍翻在場的縣吏，奔上堂前，一刀就將新鄭令劉衡搠死，不僅如此，殺發性的周貴還殺入了后廊，將劉衡的妻妾都一并殺了。
張達入城后就攻打庫房和武庫，所以慢了周貴一步，此時見周貴在殺了新鄭令后，還殺了其全家，就要訓斥。
但周貴突然說了句
“不拿他一家嘗命，那之前死在他手上的太平道徒豈不是白死”
張達一噎，再說不出后面的話。
最后，他只告訴周貴
“你現在還沒入泰山軍，軍中的法度你不知道，所以沒關系。但以后你要是還想入泰山軍，就一定要知道，私自仇殺和公審殺的區別。同樣是復仇，你要是私殺了，最后自己一定得搭進去的。”
誰知周貴一喜
“敢不從命。”
原來他從張達的語氣中已經聽出泰山軍要收自己，那能不喜嗎至于私殺不私殺，他又不是多濫殺的人，也就是和這新鄭令有血仇，才做如此事罷了。
張達隨后就開始安堵全城，但意外發生了。
當張達將新鄭令懸尸示眾的時候，越來越多的閭民不顧刀兵圍了上來。他們群情激奮，甚至不少人看到劉衡的尸體還在啜泣。
越來越多的人推搡著泰山軍兵，為首的軍吏暗道不好，一定有他們不知道的情況，所以他立馬將這里的情況匯報給張達。