代數（algebra）是由算術（arithmetic）演變來的，這是毫無疑問的。至於什麽年代產生的代數學這門學科，就很不容易說清楚了。比如，如果妳認為“代數學”是指解bx+k=0這類用符號表示的代數方程的技巧。這種“代數學”是在十六世紀才發展起來的。
西方人將公元前三世紀古希臘數學家丟番圖看作是代數學的鼻祖，而真正創立代數的則是古阿拉伯帝國時期的偉大數學家默罕默德·伊本·穆薩（我國稱為“花剌子密”，生卒約為公元780-850年）。而在中國，用文字來表達的代數問題出現的就更早了。
“代數”作為壹個數學專有名詞、代表壹門數學分支在我國正式使用，最早是在1859年。那年，清代數學家李善蘭和英國人韋列亞力***同翻譯了英國人棣麽甘所寫的壹本書，譯本的名稱就叫做《代數學》。當然，代數的內容和方法，我國古代早就產生了，比如《九章算術》中就有方程問題。
代數的起源可以追溯到古巴比倫的時代[1]，當時的人們發展出了較之前更進步的算術系統，使其能以代數的方法來做計算。經由此系統地被使用，他們能夠列出含有未知數的方程並求解，這些問題在今日壹般是使用線性方程、二次方程和不定線性方程等方法來解答的。相對地，這壹時期大多數的埃及人及西元前1世紀大多數的印度、希臘和中國等數學家則壹般是以幾何方法來解答此類問題的，如在蘭德數學紙草書、繩法經、幾何原本及九章算術等書中所描述的壹般。希臘在幾何上的工作，以幾何原本為其經典，提供了壹個將解特定問題解答的公式廣義化成描述及解答代數方程之更壹般的系統之架構。
代數（algebra）導源於阿拉伯語單字“al-jabr”，其出自 al-Kitāb al-mu?ta?ar fī ?isāb al-?abr wa-l-muqābala這本書的書名上，意指移項和合並同類項之計算的摘要，其為波斯回教數學家花拉子米於820年所著。Al-Jabr此詞的意思為“重聚”。傳統上，希臘數學家丟番圖被認為是“代數之父”，的成果到今日都還有用途，且他更給出了壹個解答二次方程的壹詳盡說明。而支持丟番圖的人則主張在Al-Jabr裏出現的代數比在Arithmetical裏出現的更為基本，且Arithmetical是簡字的而Al-Jabr卻完全是文辭的。另壹位波斯數學家歐瑪爾·海亞姆發展出代數幾何出，且找出了三次方程的壹般幾何解法。印度數學家摩訶吠羅和婆什迦羅與中國數學家朱世傑解出了許多三次、四次、五次及更高次多項式方程的解了。
代數更進壹步發展的另壹個關鍵事件在於三次及四次方程的壹般代數解，其發展於16世紀中葉。行列式的概念發展於17世紀的日本數學家關孝和手中，並於十年後由萊布尼茨繼續發展著，其目的是為了以矩陣來解出線性方程組的答案來。加布裏爾·克拉默也在18世紀時在矩陣和行列式上做了壹樣的工作。抽象代數的發展始於19世紀，壹開始專註在今日稱為伽羅瓦理論及規矩數的問題上。