謝玄出身于陳郡謝氏，為魏晉南北朝時期著名門閥士族。
陳郡謝氏家族始祖為東漢三國時期的典農中郎將謝纘，家族真正崛起源于第四世的尚書仆射謝尚，獲取世襲領地，擁有了領兵的資格。
謝玄為家族第五世，其父謝弈擔任都督豫司冀并四州軍事、安西將軍、豫州刺史；
叔父謝安官至太保，成為東晉的宰相。
“謝玄年少聰慧，深受叔父謝安的器重，曾愛好佩戴香囊，為叔父賭取而焚燒。”
“謝玄成年后擁有經國才略，面對朝廷屢次征召卻沒有前往。”
“后與王珣一起被大司馬桓溫征召為府掾，并受到桓溫的禮遇和器重；”
“后轉任征西將軍桓豁麾下擔任行軍司馬，同時兼領南郡相，都督北征諸軍事。”
“此時北方的前秦逐漸強大起來，前秦天王苻堅在宰相王猛的輔佐下，初步統一了北方，不斷派兵攻打東晉邊疆。”
“東晉朝廷感覺形勢嚴峻，尋求文武良將鎮守北方抵御前秦的進攻。”
“尚書仆射謝安舉賢不避親，推薦侄子謝玄應舉，于是征召謝玄返回京城，授與其為建威將軍、兗州刺史、同時兼領廣陵相，都督江北諸軍事。”
“太元二年，謝玄出鎮廣陵，為抵御前秦強大的軍事壓力，大力招募江北移民中驍勇之士。”
“劉牢之與何謙、諸葛侃、高衡、劉軌、田洛和孫無終等猛將應征入選。”
“謝玄經過嚴格的選拔與訓練，任命劉牢之為參軍，統領精銳擔任前鋒，組建了戰斗力強大的北府兵。”
“太元三年，前秦天王苻堅派遣征南大將軍苻丕圍攻襄陽，車騎將軍桓沖率部抵御。”
“謝玄奉命征召三州兵員，派遣彭城內史何謙進軍淮泗，形成支援襄陽的態勢。”
“襄陽城破后，前秦苻堅的部將彭超領兵攻打駐守彭城的龍驤將軍戴逯。”
“謝玄統領東莞太守高衡與后軍將軍何謙屯兵于泗口，欲派遣使者密報鎮守彭城的戴逯，朝廷救兵已經到來，卻找不到前行的道路。”
“謝玄的部將田泓請命前往，于是通過河水潛入，將要進入彭城前，為前秦軍隊抓獲。”
“前秦軍隊重金收買田泓，讓其前往彭城傳遞援軍已經戰敗的消息。”
“田泓假裝答應，轉而告訴彭城的晉軍援軍將至的消息，然后被殺。”
““前秦將領彭超將輜重糧草屯于留城，謝玄佯裝派遣部將何謙攻打留城。”
“彭超獲悉消息后，率軍返回留城保護輜重糧草。謝玄派遣部將何謙迅速統兵救援彭城。”
“次年，前秦將領彭超再次統兵南下，苻堅部將句難與毛當自襄陽南下與其會合，前秦集合六萬軍隊于三阿圍困幽州刺史田洛。”
“東晉孝武帝司馬曜下詔謝玄叔父征虜將軍謝石率領水軍進駐涂中，右衛將軍毛安之、游擊將軍河間王曇之、淮南太守楊廣、宣城內史丘準等部進駐堂邑。”
“不久，盱眙城被前秦攻破，高密內史毛藻戰死，毛安之等部撤兵，東晉朝堂為之震動。”
“謝玄統兵自廣陵出發征討前秦武將懼難并救援三阿，派遣部將何謙擊敗前秦軍隊，為幽州刺史田洛解除圍困；”