五塔寺原名慈灯寺，建于清雍正年间，是小召（崇福寺，现已无存）的属召，五塔（金刚座舍利宝塔）只是其建筑之一。

据说，清雍正五年（1727），清朝廷要修建绥远新城，遭到了归化城喇嘛们的反对，小召的喇嘛进京呈请朝廷要求修建一座“新召”来平衡风水，这便是慈灯寺（五塔寺）的由来。
　　
现在的五塔寺已经挂上召庙文化博物馆牌子，免费对外开放，凭身份证登记可进入参观。进入山门，有四进院落，庙宇殿堂除供奉有佛像还设有图文介绍呼和浩特的召庙，更多的内容还是对金刚座舍利宝塔的介绍。

慈灯寺是清代归化城（今呼和浩特旧城）最著名的召庙之一，由小召著名的活佛阳察尔济喇嘛于清雍正五年（1727年）奉敕建造，雍正十年（1732年）竣工，寺庙建成后，雍正帝赐名"慈灯寺"，并赐予蒙、藏、汉三种文字寺额，为藏传佛教寺院。

寺院采用了传统的汉式建筑形式。占地1.35万平方米，建有三重大殿和东西配殿、各种厢房、耳房以及"金刚座舍利宝塔"一座。在寺院的山门之前有宽阔的广场和三间四柱式的木牌楼。

清光绪十二年（1886年），活佛阳察尔济格根三世圆寂，因没有寻到转世活佛，喇嘛们都返回了小召。慈灯寺从此失去了往日的繁华，随着岁月的流逝，慈灯寺逐渐荒芜，寺宇败落。至20世纪60年代末（1966年），佛殿完全坍塌无存，只留下殿后的"金刚座舍利宝塔"巍然屹立。

1977年，国家拨专款修葺五塔寺，成立了呼和浩特文物管理所。1982年，成立五塔文物保管所，树立了保护标志。1988年1月13日，国务院公布五塔寺为全国重点文物保护单位。

现在金刚座舍利宝塔在五塔寺最后一进院落，是清雍正五年（1727）修建的慈灯寺唯一留存至今的建筑，因塔座上有五座方形舍利塔，所以慈灯寺也就被称为了五塔寺。

五塔，不仅是建筑物，而且还是一件巨大的艺术品。整个塔体，从上至下，布满了雕刻，有佛教的经文、咒语、法器、珍品、异兽等，最多的还是佛像，共有1630尊，因此五塔又被称为“千佛塔”。

在塔北侧的照壁上有3幅线雕石刻图，西侧是六道轮回图说明世界众生轮回的六大去处；中间为须弥山分布图表现佛教所言人类居住世界中心须弥山及其上界和四周的分布。

东面便是著名的蒙文天文石刻图，这幅图是雍正三年（1725）根据钦天监制定的天文图刻制的，其上蒙文标写的各种天文学名称，为迄今为止世界上唯一用蒙古文标注的一幅天文图，极其珍贵。

这座砖砌石料镶边，以琉璃做挑檐和宝刹的金刚宝座式佛塔，制作精美。南门正中券门两侧有雕刻的四大天王像，上有伽陵频阿、狮子、神马等图案，门首嵌汉白玉石匾，镌刻蒙、藏、汉三种文字书写的“金刚座舍利宝塔”。

金刚座下须弥座束腰间并列砖雕五佛坐骑狮、象、马、孔雀、迦楼罗及宝瓶等七珍图案。金刚座下部砖刻蒙、藏、梵三种文字书写的《金刚经》经文，刻工精细。上部七层短檐下设千佛龛，龛内置姿态各异的佛像。金刚座顶有5座小塔，各塔1层均嵌佛像、菩萨、菩提树、景云砖雕，2层以上设为千层龛。可以毫不夸张地说，呼和浩特五塔是清代建筑雕刻的杰作。