光绪二年（1876年），满族官员阿克达春新任归绥道台，他对祭孔时只能当陪祭官很不甘心，于是上书给山西藩司，以崇敬儒学为名，要求另立文庙。当然，清末归绥两城的汉民日益增多，客观上也有祭孔和子弟入学的需要。山西藩司批准归绥道就地筹款修建。

在选择庙址时，阿克达春看中了杨家巷义学所在地。义学是指官员、富绅捐资或地方集资兴办的免费学塾，具有公益和慈善的性质。

归化城最早创办的义学叫古丰义学，《归绥县志.教育志》载：古丰义学，在道署（即归绥道台衙门）西北隅，创始无考。嘉庆八年（1803年）重建。延两师授课，修脯月各十两；生徒三十人，茶水月银三两；考课奖赏，每季银八九两。归绥道德纶（嘉庆七年任归绥道台）定为每岁由归化厅捐银五十两，绥和萨清托五厅各捐银三十两，归萨两巡检（带兵武官）各捐银十两，不敷者由道自助。

道光年间，义学由道署迁至北面的杨家巷路北，俗称杨家巷义学。

光绪三年（1877年），阿克达春将文庙建成。但论起建筑规模，这座文庙要比土默特文庙、八旗文庙都小得多。文庙也是座北朝南，庙的南面，是一座稍向北退的戟门。戟门的对面，杨家巷路南有一照壁。戟门两侧围墙呈外八字形。庙内仅有正殿三间，东庑、西庑各三间。北文庙建成后，每年春秋仲月，便由归绥道台率属致祭。

古丰义学校地因兴建文庙，阿克达春便将义学移到偏院，并由文庙管理。

到光绪十一年（1885年），阿克达春在归化城又新建四所义学，并保证了运转经费。这一年，古丰义学发展为“古丰书院”。《归绥县志.教育志》载：古丰书院，在旧城太平召东南，光绪十一年创设。

光绪二十七年（1901年），清廷下令将全国所有书院，分别改为大学堂、中学堂、小学堂。经过约两年筹备，光绪二十九年（1903年），古丰书院正式改为归绥中学堂。但“事属草创，规模狭小，仅收学生三十名，即以旧有院长为堂长”。

光绪三十二年（1906年），湖北人胡孚宸任归绥道台，至宣统二年（1910年）离任。史载：胡公在任五年，于兴办归绥学务厥功甚伟。筹集巨额资金，发给各县商息后购置学田三十余顷。次弟拓展校基，添置堂舍。对于中学学生，朝夕督课维勤。每遇课期躬亲校阅，仍进诸生口讲指画，娓娓不倦。时捐鹤奉给奖高才生，以资鼓励。堂内经费有不敷时，则举廉奉以充之。

胡道台还在归绥中学堂讲室前撰一对联：重译共轨文，异学分歧，愿多士勿忘国粹；十室有忠信，及时淬砺，虽边地岂乏人才。

在此期间，归绥中学堂有了较大的发展。到光绪三十二年（1906年）师生人数已达200余人。
为了给归绥地区新设小学培养师资，光绪三十二年（1906年）学堂将年长学生编成一个师范班，称附设师范学堂，此为归绥地区师范教育之始。同时又附设模范高等小学堂，以作各厅办理小学之表率。

民国元年（1912年），归绥中学堂与绥远中学堂合并后，改为归绥中学校，为当时呼和浩特地区的最高学府。

新中国成立后，归绥中学在原归绥道台衙门原地扩建。于1954年改称呼和浩特第一中学至今。