中山大學圖書館創辦於1924年，初名廣東大學圖書館，由廣東高等師範學校、廣東政法專門學校、廣東農業專門學校和廣東公醫學校的藏書合並而成，其歷史可追溯到1906年建立的兩廣優級師範學校藏書樓。
1926年，改名為國立中山大學圖書館。
1952年，隨新組建的中山大學更名為中山大學圖書館。
1982年，南校區總館舊館舍於落成，建築面積僅14,500平方米。
1999年，中山大學建立珠海校區，新落成的珠海校區圖書館建築面積36,000平方米，為中山大學圖書館的基礎圖書館和貯存圖書館。
2001年，原中山大學和中山醫科大學組建新的中山大學，原中山醫科大學圖書館成為新的中山大學醫學圖書館，館藏以生物醫學文獻為主。
2004年10月，南校區總館舊總館改擴建工程完成，館舍建築面積擴至30000平方米；坐落在廣州大學城的中山大學東校區圖書館正式啟用。