龐羲不這樣認為，龐羲說對付外敵之前一定要先解決內部的敵人，外地是看得見的，內部的敵人是看不見的，所以內部的敵人更危險，因為不知道他們什么時候就會做出危害大局的事情。
從這次被迫退兵力，吳懿也知道內部敵人的危害，正是因為如此，才不能支持龐羲掀起劇烈的政治斗爭，但是龐羲不聽，兩人遂不歡而散。
吳懿覺得很苦惱。
劉璋的想法超出了他的設想，而龐羲又出現了失控的情況，一旦龐羲真的失控了，局面又會糟糕到何種境地呢？
看到劉璋痛哭的樣子，吳懿十分糾結，于是回到家里把這件事情告訴了族弟吳班，想要和吳班商量。
吳班和吳懿不一樣，吳懿比較低調，吳班則相對高調，為人豪爽俠義，著稱于當時，在東州將領之內很有些地位。
如今一聽劉璋有除掉龐羲的想法，短暫的驚訝之后，卻十分支持。
“龐羲張狂，不知收斂，于殿前持刀，失了禮數，如今釀成大禍，已然難以收場，大王有除掉他的想法，難道不是你我兄弟的機會嗎？”
吳班說道：“你我兄弟與龐羲一起，隨先主入蜀，論出身，論家世，你我兄弟不輸給龐氏，何以讓龐氏居于你我兄弟之上？”
吳班的說法稍微讓吳懿有了些想法，思慮再三，吳懿覺得長痛不如短痛，益州人方面失去了一個王商，已經怒火中燒，眼看著矛盾就要全方位爆發，和東州人死磕，這個時候如果不能做點什么，和解的機會是不會再有了。
益州人畢竟人多勢眾，占據絕大部分土地和財產，如果真的鬧僵了，對劉璋的危害是最大的，對東州人也不見得就有好處。
吳懿思慮再三，決定遵照劉璋的命令，找個機會殺死龐羲和他的親信，以吳氏家族取代龐羲的地位，穩定蜀中局勢，結束這場對峙。
劉璋很高興，決定在行動勝利之后任命吳懿擔任漢中太守，加封鎮北將軍，封吳班討逆將軍，以獎勵吳懿和吳班的行動。
他們開始緊鑼密鼓地籌備殺死龐羲的計劃，找決定可以信任的親衛和家臣組織一場鴻門宴，打算在宴會上干掉龐羲。
龐羲和吳家的關系其實并不差，同為東州將門，在大事上還是維持步調一致的，彼此之間互相宴請喝酒也是常態，這并不稀奇。
計劃確定的很順利，怎么殺死龐羲，怎么殺死他的親信，怎么迅速接掌龐羲的兵權，安穩龐羲的部眾，除掉龐羲的死忠和家族等等，一系列的鏟除后患的計劃都已經決定好。
除掉龐羲于是成為既定事實，而龐羲本人對此一無所知。
不過話說回來，或許也是天意，龐羲麾下有一個名為鄧芝的年輕人，他是荊州新野人，新野鄧氏之后，乃是東漢開國功臣之一的鄧禹的后人。
新野鄧氏在東漢中后期曾經顯赫，鄧氏女二度入朝，鄧氏外戚的權勢很大，后來在桓帝之后鄧猛女廢后之后，鄧氏才逐漸敗落。
鄧芝出身貧寒，空有家世而無家資，在荊州找不到門路，只能入蜀謀生，但是一樣得不到任用，只好去投靠喜歡養士的龐羲混口飯吃。
龐羲為人不怎么樣，但是的確喜歡養士，養的士人里多少有一些有本事的，經常也為龐羲出謀劃策，程畿和法正就是其中之二，鄧芝因為年輕，不被重視，只是個吃干飯的。
話雖如此，鄧芝心懷大志，努力讀書增進學問，想著出人頭地，龐羲率軍北伐的時候，鄧芝作為門客，仗劍追隨，成為一名親衛，近距離觀看了真正的戰場，對之后的失敗痛惜不已，也對拖后腿的人憎恨不已。
但是眼下局勢突變，鄧芝沒了用武之地，只能繼續讀書，吃白飯，惆悵不已。
忽然有一日，一名與鄧芝同樣出身新野縣的同鄉王安悄悄的來找鄧芝，告訴鄧芝有大事將要發生，讓他這些日子借故外出一段時間，等事情平定了再來找他，他會接濟鄧芝，把鄧芝引薦給吳懿，保他平安。