灵岩寺在丰镇市东北隅北山（原称留云山）的东侧悬崖下，庙宇座西面东依山势建筑，山前濒临饮马河（古称如浑水）并有208国道从庙前通过。

灵岩寺原名牛王庙，是丰镇名胜“山寺朝霞”所在处。光绪三年（1877年）建，牛王庙原正殿、乐楼、庙门、僧舍、碑刻和雕栏都在20世纪60年代末被拆毁，现在遗留部分有靠山建筑的禅房2间，形壁和2座木构牌坊保存较为完整。