据上海县志记载，淡井庙内有一口井，井水味甘，而上海因地处近海，包括地下水的各处水质都普遍偏咸，这口甘而淡的水井便被认为“味甘”而甚为罕见，因此这城隍行宫又被称为淡井庙。而且传说这口淡井中的水能治某些疾病，因此在明代初年前，这里的香火甚为兴盛。每逢初一、十五到城隍庙进香，是一项经常性的活动。逢农历二十一城隍神诞辰、三月二十八城隍夫人诞辰及正月初三、正月十五等，各类庙会接踵而至。

据传，华亭县城隍庙内供奉的城隍神是汉代刘邦的大将纪信。由此，淡井庙内供奉的城隍神就是汉代刘邦的大将纪信。

元朝至元十五年（1278年），华亭县升格改为松江府，原来的华亭县城隍也相应晋升为松江府城隍，于是淡井庙又改称为松江府城隍行宫。至元二十九年（1292年），元朝中央政府把上海镇从华亭县划出，批准上海设立上海县，标志着上海建城之始。所以，上海过去有句俗谚：“先有淡井庙，后有上海城”。

由于上海刚立县，县城的规模并不大，因而县内并未修建自己的城隍庙，城内居民祭拜城隍神是到淡井庙去祭拜松江府城隍神。

明洪武三年，秦裕伯死后上海绅民奉祀其为城隍神。至此，淡井庙内供奉的城隍神在1373年后就改为秦裕伯了。明永乐二年，上海县知县张守约把坐落在县中心方浜北岸祀奉汉代大将军霍光庙的行祠金山神庙改建为上海城隍庙祀奉秦裕伯。淡井庙便算上海城隍在城厢外的行宫，后人称淡井庙为老城隍。所以，论资历“淡井庙”比“城隍庙”要早几百年。

清康雍年间，淡井庙由道观而为佛寺。长期来为剃度派传承，后传曹洞宗。庙门原有“宋建淡井庙”石匾。清光绪二十年(1894年)，主持正声重建前殿。庙内原有清乾隆年间重修“明待诏秦裕伯之墓”及清光绪三十一年上海县出土“保护秦少游墓地”碑石一方。

民国时期，淡井庙曾被评为“上海第一古迹”。

1914年后，淡井庙所在的地区被辟为法租界，庙前开辟马路（现永嘉路），弄堂房屋遂应运而生。淡井庙地区成为人口密集的住宅区，庙中的香火又兴盛起来。1932年，主持慧德重建后殿未竣。1937年，由黄金荣、杜月笙等助成。1939年，翻建加高前殿；后主持谷声又续建。后殿为宫殿式木结构两层楼房。中有天井，两旁圆形拱门左右上刻“珠林”、“金地”，庙内有自求堂。庙后园内原有秦裕伯祖父辈家族弟兄秦知柔的墓，久已废圯；有1株古银杏为秦知柔墓前旧物，解放前已枯，上世纪60年代除去。

1927年由英国冒险家、跑马总会董事马立斯出资建造的英国庄园式别墅时，将永嘉路上的“淡井庙”一部分圈入别墅内（即现今遗址发现处），而庙堂依然保留。

到解放初，淡井庙还占地4亩多地。1958年，华侨胶木工场、淡井庙小学开办于淡井庙。文革中，淡井庙除大佛像等由上海市佛教协会收管外，殿房全部改建。前殿改为上海华侨电子电器厂压机车间；后殿为区淮海少年之家（再后为瑞南小学、永嘉路小学分校）；楼上住居民。1997年初，庙址被全部拆除。这座上海最早的城隍庙从此消失。

好在瑞金宾馆还保留了淡井庙的遗迹，所以，这个“上海之根”得以保存。地界界碑的发现，源于宾馆工作人员柏先生的一次无心之举。柏先生一日在宾馆内的小花园散步，发现一块石板路上刻有“淡井庙”字样。这个发现让他大吃一惊，赶紧向有关部门进行了汇报。目前，这块刻有“淡井庙”字样的石碑仍镶嵌在小花园的石板路上，长约30厘米，宽约15厘米，上面有“张尚书墓界”五个大字，在左下角书有“淡井庙立”字样。据该宾馆的有关人员介绍，其实这块石板路在这里已经有些年头了，但一直没有引起人们的注意。