内蒙古图书馆的发展历史可上溯到清光绪34年（公元1908年）11月归化城副都统三多在旧城小东街文昌庙内创办的“归化城图书馆”。1925年改名为“绥远省立图书馆”。日寇侵占期间，蒙古文化馆改为蒙古文化研究所，并于1942年迁往张家口。1945年由于战乱，原蒙古文化研究所的藏书损失过半。1947年4月，绥远省政府将残余图书运回归绥，于11月4日恢复省立图馆。1949年8月，省立图书馆迁入原省立民立教育馆旧址，成为绥远省社会教育推行委员管辖下的图书馆。

　　1950年5月，奉绥远省文教厅的指示，在原绥远省社会教育推行委员会的基础上筹建省图书馆。先在工人文化宫后的小院开办了一个图书室，同年10月，该室迁至新城鼓楼，正式命名为“绥远省人民图书馆”。1957年，内蒙古自治区成立十周年时，在呼和浩特人民公园内建成建筑面积2830平方米馆舍，设计藏书容量30万册。该馆舍于1957年3月竣工使用，于5月1日庆祝内蒙古自治区成立十周年之日，由内蒙古自治区主席乌兰夫亲自剪彩开馆。

　　1965年12月，内蒙古科学技术图书馆并入内蒙古图书馆，成为内蒙古图书馆科技部。1984年5月又将科技部交给内蒙古科委。图书馆进入了一个全面发展的新时期。藏书由建国初期的3万余册增加到140余万册，远远超过了馆舍原设计藏书容量。

　　1985年内蒙古政府决定新建内蒙古图书馆。新馆地址位于呼和浩特市乌兰察布西路，占地2.8万平方米，总建筑面积2万平方米，设计藏书容量300万册，主楼四层，书库九层。1995年4月8日，新馆建设破土动工，1997年7月8日竣工，1998年5月28日新馆正式开馆接待读者。新馆开放后，每年接待读者50多万人次，受到社会各界广泛关注，已成为自治区最大的功能齐全、设施先进的公共图书馆。2008年1月内蒙古图书馆改扩建工程正式启动，历时近两年的时间，2009年10月1日土建工程完工，并试开放接待读者。2010年5月1日正式开放。改扩建后的图书馆馆舍面积近3万平方米，为读者提供了大型阅览室和休闲区，改变了传统图书馆的借阅方式，使读者和图书实现零距离接触。今后，内蒙古图书馆将会在“科教兴国”战略中发挥出更大的作用。