谢灵运自幼即“送钱塘杜明师治养之，十五方还都，故名客儿。”“初，钱塘杜师夜梦东南有人来入其馆，是夕，即灵运生于会稽(始宁)。旬日而父殁。”

谢灵运生于太元十年（３８５），这一年，父亲谢瑍去世，三年后，祖父谢玄去世。魏晋时人多半迷信，谢家遇到这样的大丧，不祥孰甚?于是不敢把新生的小孩留在家里，而把他送到旁处去躲避。此即《诗品》所谓：‘其家以子孙难得，送灵运于杜治养之。’谢家是信奉五斗米道的，此举总有借宗教之力祓除不祥之意。”

晋、南北朝时期名门“王谢大族多为天师道信徒”，也是《诗品》所指五斗米道。那么什么是天师道？天师道由道教创始人张道陵在东汉时在蜀地初创，后经张衡，张鲁，祖孙三代所立。其召神劾鬼、符箓禁咒等道术，均直接继承了汉代方士的方术。据说当时在巴蜀一带，原有巴人信奉原始巫教，大规模的淫祀而害民。而这些祀奉鬼妖（学名为：妖邪）的法教巫师聚众敛财，无恶不作。张天师携王长、赵升二位弟子和黄帝九鼎丹经，平定了那些祸害百姓的巫妖之教。天师道的创立使道教开始以教的形式出现,区别于以前的巫教,奉太上老子为最高崇信，到晋代已经是传遍南北了。

钱塘杜明师是什么人？“杜明师”即杜昺，字叔恭，钱塘人，“明师”是他的道徒弟子为他所上的谥号。对于杜昺，《异苑》与《诗品》均未直呼其名字，而是称说其谥号，这意味着杜昺在晋宋之际甚至在整个南朝时期，应该是一位家喻户晓且有相当影响的明星级人物。史书曰：“初，钱唐人杜炅，字子恭，通灵有道术，东土豪家及都下贵望，并事之为弟子，执在三之敬。”（《南史·沈约传》）“通灵有道术”，可征之以王羲之的故事。据《太平御览》卷六六六引《太平经》曰：“王右军病，请恭，恭谓弟子曰：‘右军病不差，何用吾?’十余日果卒。”这里“恭”指“杜恭”，即杜昺，“病不差”，意谓此病已不可救药。

杜昺道术这么高深，有“通灵之术”；一眼就能看出王羲之病入膏肓，已经不治，有名医扁鹊相似之医术。有这样的声名远扬道教名师，因此信仰道教的名门望族谢家，在谢灵运出生之后父亲就去世的情况之下，自然就找到杜家寄养了。杜明师的道馆可能在钱塘飞来峰、下天竺寺一带，或者就在灵隐山，杭州灵隐山北坞有所谓“客儿亭”之遗迹。