传说这里原本是个巨大的湖泊，湖中心的小岛盛开过金色的莲花，莲花中大日如来佛祖曾显圣，文殊菩萨听闻便来此膜拜，正巧遇到湖中大蛇作怪为祸百姓，便劈山放水赶走蛇怪。湖泊因此成为适合耕作的肥沃的加德满都谷地，原本的小岛也成为了小山丘，文殊菩萨便在小山上修建佛塔供奉大日如来，如此便有如今的斯瓦扬布纳特寺。这虽然仅仅是个传说，但据地质学家研究，加德满都地区早前的确是一片湖泊，后来由于地质变迁，湖泊才变为谷地。当地的人们也很乐于去相信这个神奇的传说。