縣制起源於春秋時期的楚國，楚武王熊通。熊通，先楚熊坎的次子，奪得兄長熊旬的王位自立為楚王。在三年之後便想渡江攻打西周在漢中布置的重鎮，但是第壹次失敗了，於是回國養精蓄銳，之後吞並了周圍的國力衰弱但物資豐富的權國，改權國為權縣，熊通命權王做了縣尹，權王哪肯舍棄王位做壹個小縣尹呢，於是私下召集兵馬發生叛亂，楚王熊通知道後馬上發兵平亂，將權王帶回楚國看管，又在權縣選拔人才做縣伊。這是中華縣制之肇始。
郡制起源於春秋時期的秦國，秦穆公嬴任好。嬴任好，秦德公少子，秦宣公、秦成公之弟，被《史記》認定其為春秋五霸之壹。秦穆公九年（前651），晉公子夷吾（即晉惠公）對秦國使者談到“君實有郡縣”，為秦國設郡的最早記載，也是中國歷史上最早關於郡制的記載。
秦始皇統壹天下之前，縣大於郡，千裏百縣，縣有四郡，因此秦始皇之前的地方行政制度為“縣郡制”。秦始皇統壹天下後，曾出現過應否置郡的爭論。當時不少大臣，特別是李斯的上司王綰，認為原楚國、燕國、齊國等地的領土都遠離秦國，主張實行分封，授各地貴族予世襲的諸侯名份，惟身為廷尉的李斯認為分封制是周朝諸侯混戰的根源，他大膽地反駁道，周制訂的這個政策已經證明是壹個政治災難。周王室的親戚壹旦取得了他們的土地，立刻互相疏遠和進行戰爭，而天子則無力阻止他們，所以結論是“置諸侯不便”。他力排眾議建議實行郡縣制，並得到秦始皇的采納。在郡縣制底下，***設三十六郡，每郡有守（相當於省長）、尉（相當於防區司令）和監（相當於監察專員）各壹。郡下轄縣；郡（守）與縣（令），由皇帝直接任命。秦代至此成為為中國歷史上最早在全境推行“郡縣制”的朝代。至漢代仍承襲這個制度，形成州郡縣三級行政管理，自此成為日後各朝地方政制的基礎，直到唐朝，才被道路制所取代。
唐代柳宗元寫有政論文章《封建論》，認為中國分封制度是百害而無壹利，並闡發了郡縣制的優越性