張道陵原來是讀書人，他出生在沛郡豐縣，雖然同劉邦是老鄉，但他卻是張良的第八世孫。
他于公元34年生于豐縣的阿房村，他出生前，他的母親做夢見到了魁星，仿佛魁星降入了她的腹中，于是便懷孕了。五月十八日生張道陵的時候，滿屋生香、整月不散，房子上黃光罩頂，院子里紫氣彌院。
他自幼聰穎過人，七歲時便能把老子的“道德經”倒背如流了，他對天文、地理、河圖、洛書等讖緯之書無所不通、無所不曉，他當過太學的學生，博通五經。但最后他嘆息著說：“這些書都天法解決生死的問題啊？”于是他便棄儒而改學長生之道了。
張道陵二十五歲的時候，曾官拜江州令，但他卻身在朝政、志慕清虛。不久就隱居到了洛陽的北邙山中了。
公元89年，漢和帝授他為太傅，又封他為冀縣侯。三次下詔召他回朝，但卻都被張道陵婉拒了，他對使者說：“人生在世不過百年，光陰荏苒轉瞬便逝。父母的隆恩、妻妾的厚愛也會隨時而消失，君臣之恩誰見過長久？請轉告圣上，只要清靜寡欲、無為而治，天下自然便會大定，要我何用呢？我志在青山，不會再踏進廟堂之中了。”
北邙山又名北芒、邙山、北山、平逢山、太平山、郟山。它海拔不高，只有三百米左右，但它東西卻橫延了數百里。
對于北邙山，列朝列代都有不少贊語，因為它風景秀麗、風水極佳，所以成了王侯將相的入土之地。
唐代王建有詩云：“北邙山頭少閑土，盡是洛陽人舊墓。”而白居易則有詩云：“何事不隨東洛水，誰家又葬北邙山。”北邙山上，已經有了呂不韋的墓，漢光武帝劉秀的墓，以后還會有西晉司馬氏、南唐李后主，以及杜甫、顏真卿等許多名人會落葬在此地。
張道陵在北邙山上修行了數年，但總是沒有摸到修煉的關健，因為他手頭的經書，也就是那么幾本書，除了《道德經》以外，也只有《上清大洞真經》和《正一經》。他苦思冥想，對老子的《道德經》進行了注譯，寫下了《老子想爾經》，但這對于他的修道，也沒有什么大的幫助啊！
那天他正在洞中暇想，忽然聽到洞外有急速的風聲，他走出了洞去，只見遠處有兩朵祥云，沖著他冉冉而來，他不禁抬頭仰望了起來。
只見那兩朵祥云，冉冉地來到了他的頭上，緩緩地降了下來。祥云上站著兩名老道，俱都是仙風道骨、道貌岸然、白發銀髯，五縷長髯飄在了胸前，手中都拿著了一把拂塵。
“道友請了。”張道陵迎了上去，恭恭敬敬地打了一個稽首。
“請了！小道友，聽說你在這里清修，特來望你。”為首的那位仙長開口說道。
“洞里請！洞里請！”張道陵恭恭敬敬地往里請著。
兩位仙長隨著張道陵的手勢走進了洞府的里面，很大度地在洞中央坐了下來。
“請問兩位是何路神仙？”張道陵恭恭敬敬地問。
“我們是太上老君……！”徐福回答了一半。
“啊！真的是太上老君啊！我猜就是太上老君了。”張道陵激動地說。
“……的弟子。”徐福終于補上了前半句，因為他如果說是“元始天尊”的弟子，這地位也太高了，而元始天尊是太上老君的師兄，他自稱為“太上老君”的弟子，也是未嘗不可的。
“是！是！弟子幸見了。”張道陵離席而拜。
徐福也懶得解釋了，他們來的目的，就是幫助傳頌道教的人，至于他們自己是誰，那也不盡重要。
“我們知道道友在此地清修，但不窺門徑，無法收徒傳道，因此特地前來贈送道教教典，以助道友修得正果。”徐福攤開手請張道陵起身。