江山歷史悠久,唐武德四年(公元621年)建縣,1987年撤縣設市。春秋戰國時,江山為姑蔑壹部分。春秋末國屬越國,戰國後期屬楚國。秦王政二十五年(公元前222),屬會稽郡太末縣。新王莽始建國元年(公元9年),改太末縣為末治縣,東漢建武元年(公元25),恢復太末縣名。先後屬末治縣、太末縣。東漢初平三年(192),析太末縣西部置新安縣,屬會稽郡新安縣。三國時期孫吳寶鼎元年(266),劃會稽郡壹部置東陽郡,屬東陽郡新安縣。西晉太康元年(280),改為信安縣,南朝陳天嘉三年(562),東陽郡改為金華郡,隋朝初年,又易名婺州,大業三年(607)復為東陽郡。唐武德四年(621),析信安縣之南川置須江縣,以城南有須江得名,隸屬越州總管府衢州,為江山建縣之始。武德六年,屬婺州管轄,垂拱二年(686),恢復衢州,江山屬衢州信安縣,689年復置須江縣,屬衢州。五代後唐長興二年、吳越寶正六年(931),錢鏐因縣南有江郎山,改須江縣為江山縣,南宋鹹淳三年(1267),改名禮賢縣,1276年復名江山。清宣統三年(1911),辛亥革命後,屬衢州軍政分府管轄。民國元年,直屬於省。三年,省以下設道,屬金華道,16年廢,24年,屬省第五行政督察區,37年,改隸第三行政督察區。1949年5月6日江山縣解放,屬衢州專區。1955年改屬金華專區。1985年分設金華、衢州兩市,屬衢州市。1987年11月27日,國務院批準撤銷江山縣,設立江山市(縣級),屬衢州。