五代時期連年戰亂，社會動蕩不安，官辦學校逐漸衰落，書院成了繼承學統、傳遞學術薪火的“獨輪車”。避亂世隱居林泉的鴻學大儒，紛紛依山置田建宅，聚書授徒。嵩陽觀延續了唐代以來的興盛，觀內聚集了壹批有遠見、有學問的道人。當時進士龐式和南唐學者舒元、道士楊納等人，在嵩陽觀聚課生徒，為太乙書院在此創辦打下基礎。後周顯德二年（955年）世宗柴榮將位於太室山麓風景秀麗、環境幽清的嵩陽觀改稱太乙書院。
兩宋時期是我國古代文化發展的高峰期，也是書院發展的黃金時代。北宋初期科舉取士放開，得中進士後的遠大前程，刺激了宋代士子讀書熱情，但內憂外患使統治者無力興辦官學，采取了重取士而輕養士的政策，這種政策受到不少有識之士的嚴厲批評，卻給書院的發展提供了壹個良好的機遇，這壹時期湧現出多所著名的書院。
1035年，北宋仁宗敕令重修太乙書院，更名為嵩陽書院，並置院長，賜田百畝，著名的嵩陽書院正式登上歷史舞臺。理學在由宋壹代草創開始，直到南宋末成為官方意識形態的主流，與書院結下了不解之緣，南宋的著名書院幾乎都是理學的重要陣地，而書院也是在南宋真正成熟。
明代建國之初大力興辦官學。在明開國後整整壹百年的時間裏，官學發展迅速，書院的發展幾乎處於停頓之中。各地書院只有八十多所，不到元朝的四分之壹。壹些書院雖然被政府重建，但都是為了祭祀之用，並沒有生徒在內讀書。像嵩陽書院這種唐宋以來的著名書院，大都處於無人管理狀態。書院從明代中期開始逐漸增多，主要原因還是因為官學敗壞。