斷了大遼鐵騎的增援，考慮到短時強攻不可取，趙匡胤決定打持久戰，慢慢玩，他命人在汾河上架起一座新橋。
隔三差五組織士兵攻城，始終攻城不下。太原城四周護城河又寬又深，完全打消了趙匡胤通過挖地道進城的想法。
這天，巡邏的兵丁在護城河里撈到一只蓮花燈，燈上有一行小字“水流無限”。趙匡胤不解其意。
曹彬道：“臣讀詩豪劉夢得《竹枝詞》，記得里面的四句：‘山桃紅花滿上頭，蜀江春水拍山流。花紅易衰似郎意，水流無限似儂愁’，陛下現在愁的是如何攻下太原城，似乎‘水流無限’可以解除我們的煩憂，莫非有人提醒我們用‘水攻’？”
趙匡胤一拍大腿，“水攻好啊！朕怎么就沒想起來呢！”
開寶二年（969）三月，趙匡胤決定采用水攻，引汾河水淹灌太原城。
命人征發太原附近各縣的幾萬名男丁集中在太原城下，筑起一圈長堤，將太原城圍起來。大軍后撤，在太原城四周建立營寨，太原城南是李繼勛的軍隊；太原城西是趙贊的軍隊；太原城北是曹彬的軍隊；太原城東是黨進的軍隊。一切準備完畢，趙匡胤命令大軍掘開汾水、晉水，太原城四面慢慢被大水淹沒，瞬間變成了水中的一個孤島。
大水從城墻下的溝渠暗道和城門處，紛紛涌進城內。劉繼元派人用石頭磚瓦和泥土封堵各處河道涵溝，還有東西南北各處城門。城內到處是河水帶來的漂浮物和死老鼠、牲畜，北漢軍民紛紛叫苦不迭。
劉繼元幾次派人突圍，均未能成功，他期待的契丹援軍遲遲未到，郭無為勸其降宋，劉繼元不肯。
四月，接到北漢求救消息的大遼，第一時間組建援漢軍團。契丹兵分兩路，一路走太原附近的石嶺關，一路直撲大宋重鎮定州。趙匡胤早已做好了準備，張開大網等著大遼援兵到來。
鎮守石嶺關的何繼箔按照趙匡胤的部署，在山西陽曲設下伏兵，讓開先頭部隊，擊其中間。等著契丹騎兵過半，宋軍伏兵四起，喊殺沖天，遼兵大亂，此役斬首契丹幾千人，并生擒契丹將領武州刺史王彥符。
得到捷報，趙匡胤異常地高興，他命人將幾千個契丹人的頭顱和鎧甲依次高懸在太原城前。他想用血淋淋的事實，警告北漢劉繼元，投降吧，別再做無謂的抵抗，你們指望的契丹援兵已經在半路上被我軍截殺了。
看著這些血淋淋的人頭，北漢君民一下子成了泄氣的皮球，士氣低落到了冰點。可是，劉繼元還不想放棄，他想憑借太原城的堅固，做最后的死守。
四月十五日，趙匡胤親臨汾河邊視察造船。
五月初七，契丹的第二支援軍打定州經過，想由此西進，援救太原。鎮守定州大將韓重赟守住關隘，契丹兵無法前進一步，被迫退走，韓重赟乘勢追擊，大敗契丹，斬首三千多人，擒獲其將領二十多人。捷報再次傳來，宋兵士氣大振。
五月十二日，趙匡胤命令水軍駕船載著強弩從四面圍攻太原城，橫州團練使王廷義脫去盔甲，率軍猛攻，不幸頭部中箭陣亡，殿前都虞候石漢卿也在攻城中戰死。
二十八日，都虞候趙廷翰等一些渴望建功立業的武將叩頭請戰，愿以死效力，奏請太祖，要求冒死拿下太原城。
趙匡胤動容道：“你們都跟隨我多年，沒有一個不是以一當百，成為我所倚重仰仗的重臣，休戚與共的近衛，我寧愿得不到太原，也不愿意讓你們冒著敵軍的刀鋒箭雨去沖鋒陷陣出生入死。”下令沒有命令不允許再去攻城，眾將官感激涕零，哭倒在地。
為讓北漢群臣徹底投降大宋，和平解放北漢，拯救黎民蒼生，郭無為使盡渾身解數，徹底表現出他的“行為藝術”。
一天，劉繼元宴集群臣，郭無為在庭中痛哭道：“為何要以空城抗百萬之師?”抽出佩刀就要自刎，想以此煽動人心，歸降大宋。
劉繼元急忙走過來，拉著郭無為一起坐下，絕口不提投降一事。次日，劉繼元又遣使去遼國催促援兵。
北漢堅守危城，至閏五月，太原南城一處城墻被水沖壞，大水涌進城內。
宋軍整軍正準備乘舟沖進城去，北漢軍民也齊聚于此，頓時萬箭齊發，投石車配合弓弩車，拼死抵抗。
也許是天不亡北漢，就在這個節骨眼上，不知從哪里漂來一堆柴草，不偏不倚，柴草漂浮到了城池缺口，將缺口堵塞住了。這真是救命的稻草啊！北漢軍民趁機用滾木礌石設障堵住水口。大宋官兵好不容易等來了一個破城的機會，就這樣眼睜睜的看著溜走了。