然而想了許久，劉賢又覺得這個方案不是很靠譜。首先火藥的威力并不算太強，城中不一定能找到這么多原料。其次就算能找齊原料，這么大的用量，累死劉賢也配不完，必須要調用許多工匠。在這個兵荒馬亂的混亂時期，火藥的配方多半會被泄露出去。萬一沒能炸死劉備，反被他得到了火藥的制作方法，那可就麻煩了。再次，火藥保存不易，荊南地區高溫多雨，火藥極易受潮，也可能會發生其他爆炸事故，萬一保管不慎，沒炸著劉備，反把自己炸著了，那可就鬧笑話了。
思前想后，劉賢覺得火藥這個東西還是等日后自己有了穩固的地盤之后，再設法秘密制作，并要專門建立一支專業的軍隊，來使用火藥武器。
否決了火藥這個方案，劉賢便只有整頓城防，靜等劉備來攻了。
不數日，劉備領兵兩萬余人到達益陽，繞城看過之后，開始攻城。
先大驅士卒用云梯攻打，劉賢、黃忠指揮眾軍防守，一連三日，劉備軍死傷近千人，無法攻下。于是劉備轉而開始在城外堆土山，又在土山之上建造箭塔，準備居高臨下向城中放箭。
劉賢于是命工匠制作了二十架回回炮，安放在城頭，照準箭塔猛轟，一日之內將劉備建造的箭塔盡數擊毀，建造箭塔的士卒也死傷慘重。
劉備連日攻城不克，又見城中石炮威力巨大，于是招集文武商議對策。
馬良道：“荊襄之地，多有奇人異士，如龐德公、黃承彥、司馬微等人，盡皆學究天人。主公何不向其詢問制作石炮之法？”
劉備大喜，當即修書一封，送往荊襄。數日之后，黃承彥等人有書信送到，劉備拆開一看，內中卻有一份諸葛亮之妻黃月英親手設計改良的投石機制作圖紙。劉備當即命軍中工匠按圖制作。不過投石器需要大量的牛筋、蒙皮、精鐵、上等木料等物，劉備找遍全軍物資，花費半月時間，也才造成三十架投石機，每架投石機需五十名士兵使用，可將石塊拋投至三百步外。
投石機制作完成，劉備立即組織攻城。在城外三百步的距離上拋投石塊，頓時石彈如雨，往城頭飛落。
劉賢急令回回炮與之對射。然而投石機是拋投武器，彈道弧度大，射程遠，回回炮則勉強算是直射武器，彈道較為平直，劉賢制造回回炮的材料也不是最好的，精密度不夠，射程只勉強達到了二百五十步，兩者對射，竟然射不過投石機。
無奈之下，劉賢只得命令減輕石彈重量，這才增加了射程。雖然重量減輕，威力有所下降，但回回炮的射速卻遠勝劉備投石機，回回炮從安放石彈，轉動絞索，直至發射只需三個程序，算上檢修也只需要一刻鐘時間，而劉備的配重式投石機從安放石塊，固定投臂，放置配重石，割斷固定繩，總共需要四個程序，每發間隔還要對投石機進行檢查，總共費時兩刻有余。
劉賢制作的回回炮與劉備軍中的投石機在三百步的距離上對射，回回炮勝在射速快，投石機勝在威力大，雙方各有優劣，一時打得難分難解。
十余日后，兩軍的投石機和回回炮都被擊毀破損殆盡，劉備軍操作投石機的士兵幾乎換了一茬，劉賢軍的傷亡雖比劉備軍少，但城墻卻有多處損壞，算是打了個平手。此后各自窮搜材料，再次加緊打造器械，戰斗又從激烈漸漸轉為平靜。
劉備見短期內攻不破益陽，只得一邊進攻，一邊派出小股部隊，深入益陽之后打游擊，以期切斷益陽與荊南各郡的聯系。
劉賢見狀，也只得分派人馬，絞殺劉備派出的小股部隊。