整个寺院的布局，是按照佛经中的"大千世界"的结构布局设计而成，是依照密宗的曼陀罗建造的：乌孜大殿代表世界中心须弥山，大殿周围的四大殿表示四咸海中的四大部洲和八小洲，太阳、月亮殿象征宇宙中的日、月两殿，寺庙围墙象征世界外围的铁围山；主殿四周又建红、白、绿、黑四塔，以镇服一切凶神邪魔，防止天灾人祸的发生。围墙四面各设一座大门，东大门为正门。 

全长1008米的环寺围墙，象征世界外围的铁围山；围墙上建有1028座小塔。

白塔，名大菩提塔，声闻风格，塔周饰以八雄狮

红塔，名法轮塔，大菩提风格，塔身镶饰千朵莲花

绿塔，名天降塔，如来风格，以十六门殿为塔饰

黑塔，名涅槃塔，佛陀风格，以诸如来灵塔为檐饰

寺中心的乌孜大殿，是一座梵、汉、藏合璧的三层建筑，底层为藏式风格的石头结构，中层为汉式风格的砖瓦结构，顶层为印度风格的木质结构，各层的塑像和壁画亦按照各自的风格塑画，为建筑史上所罕见。