塔寺位于呼和浩特市旧城东南部，原名金刚座舍利宝塔，因塔座上有五座方形舍利塔，故名为五塔寺。塔始建于清雍正年间，高约16米，塔身均以琉璃砖砌成，塔身下层是用三种文字刻写的金刚经经文，上层则为数以千计的鎏金小佛，刻工精巧，玲珑秀丽。
五塔寺中最有价值的当属紧靠北墙的蒙文天文图石刻，天文图直径144.5厘米，天球圆面以北天极为圆心，画出二十八宿赤经位置的经线，还有五个同心圆，由里向外为天北极圈、夏至圈、天赤道圈、冬至圈、天南极圈。它是迄今为止世界上唯一用蒙古文标注的一幅天文图，具有很高的科研价值。
金刚座舍利宝塔，建于清朝雍正五年(1727年)，由塔基、金刚座、塔顶三部分组成，为砖石结构，通高16.5米，塔顶是由五座舍利玲珑小塔构成。
金刚座舍利宝塔的基座高约1米；金刚座为束腰须弥座，其束腰部雕刻有狮、象、法轮、金翅鸟和金刚杵等图案，束腰的上面为七层短挑檐，第一层的檐下为三种文字(蒙、藏、梵)雕刻的金刚经全文，从第二层到第七层的檐下为各种姿态的镏金佛像，共计1119尊，金刚座的南面为拱门，门上方有蒙、汉、藏三种文字写成的“金刚座舍利宝塔”匾额，门旁为四大天王，塔门内东西两角有通往座顶的楼梯，出口处为一方形攒尖亭；五座舍利小塔位于亭子的北边，最中间的舍利小塔为七层出檐，四隅的舍利小塔为五层出檐，五座塔身上均镶嵌有佛像、菩提树、景云等砖雕。
在金刚座舍利宝塔背面(即北面)的山墙上嵌有三幅雕刻，以“蒙古天文图石刻”最为珍贵，是研究天文学史的重要资料。
金刚座舍利宝塔的塔身上下布满了佛教题材的雕刻，浮雕佛像就达1560尊，所有的雕绘充满了强烈的宗教色彩和气氛，具有很深的象征性和隐喻性。
