此時的司馬睿也是十分著急的，他需要一個中間人式的人物來平衡權力，王家的勢力太大，他一時支撐不住這個局。他需要謝家出這么一個人能夠擔當這個斡旋的中間人角色。由于謝安始終不肯出面，只得讓謝家的其他子輩來出來做事，于是謝奕、謝據、謝萬、謝石、謝鐵等謝家子弟一一出來做事輪個遍，但是效果一般般，都達不到司馬睿的預期的要求。
為何要謝安出面呢？有個小故事可以看出，有一次謝安與王羲之在游山玩水的途中望著這美好的江山，王羲之發出感慨，“這么好的江山竟落得到如此地步，北方被少數民族占領，南方茍延殘喘，未來不知道怎么樣了。這樣的國家一定要做一次大的改革才行，不然大家以后都可能面臨亡國的危險。”
“羲之此言過于悲觀，北方淪喪主要是北方少數民族善于騎射，我們漢族人并不善于此道。這個和國家體制沒有任何關系。當年秦朝時，重用商鞅來變法，國家雖然強大了，也統一了中國，但是秦朝迅速在2年左右時間土崩瓦解了，難道這不能說明什么嗎？一個國家的存在與體制改革沒有直接關系，主要是這個國家是否是關心了人民的疾苦。當年晉朝洛陽的貴族太過于奢華，以至于買了很多北方奴隸，想不到北方奴隸到了洛陽后造反了，反叛了，反而成為了洛陽的主人，當年的主人反而被他們殺光了。所以生活過于奢華又不關心勞動人民的疾苦，這才是國家存與亡的根本因素。”，謝安說完，繼續與王羲之前行游覽名勝古跡去了。
從這個故事可以看出，謝安的思想偏向于孟子思想，民貴君輕，當國君不關心人民的疾苦之后，老百姓不管是不是奴隸都會起來反抗。謝安主張對國家不大動，以小動來代替大動，大動要傷精動骨，說不定沒多久國家就垮了。謝安的治國思想充分體現了無為而治的道家思想。對于謝安來說，他覺得司馬睿不需要憂心忡忡地擔心王家勢力太大，其實只要司馬睿行術端正無所謂有人會謀反，但是如果整天疑神疑鬼的話，反而會造成國家的動亂。再說了，謝安現在手上一沒軍隊，二沒人，他也斡旋不了司馬家與王家的矛盾。
由于司馬睿屢次邀請謝安出來做官，謝安也有點煩惱，謝安覺得索性還是搬山上去住比較好，這樣別人也不知道自己住哪里，也沒有啥人來打擾了。于是他繼續帶著夫人周游各地，名為游歷實為探測一下哪里更適合居住，過上隱居的生活。
當謝安在找地方隱居的時候，前秦對晉朝開始發動攻擊了。前秦的攻擊暫時不是全面的，他們對晉朝目前的情況不熟悉，只知道改叫東晉了，徹底和西晉說再見了，西晉的皇帝都不知道到哪里去了。前秦的符堅先派朱肜把東晉長江北岸的梁州占領了，他發現東晉連點大動靜都沒有，料定東晉沒實力反撲，就派徐成把益州也占領了。前秦軍隊占領這兩個地方像玩一樣的，東晉軍隊里都流傳說符堅長著三頭六臂，力大無比，誰遇上誰沒命，所以大家伙兒一聽到前秦軍隊來了就緊閉城門防守，防守了一大段時間看到前秦軍隊還沒撤離，就索性堅持不住了，開門投降了。就這樣前秦的軍隊越來越強大，各種武器都有，除了十八般兵器，還把馬拉的戰車也用上了，好幾十輛戰車和騎兵一沖，東晉步兵像小草一樣被任意宰割。東晉的探子把這些消息傳到建康都城，各個王公貴族都是惶惶不可終日，只有謝安還是那么悠閑，老樣子，早上稀飯加咸鴨蛋，晚飯粥加饅頭加咸菜。他不喜歡吃山珍海味，每日的粗茶淡飯才是謝安最想過的日子。