中國古代史籍中“胡”字出現的頻率很高，比如“胡服騎射”“五胡亂華”“殺胡令”“胡虜肉”等，其實都與那些被稱作“胡人”的民族有關。在當時來說胡人主要泛指北方和西方的遊牧漁獵民族。
把北方的遊牧民族稱為“胡人”，最早始見於戰國時期的趙武靈王的胡服騎射典故，“胡服騎射以教百姓”，胡服就是胡人的服裝的意思。西漢政治家賈誼在《過秦論》中也有“胡人不敢南下而牧馬，士不敢彎弓而報怨”的句子。這裏的胡人，指的主要是匈奴，也包括那些敢和漢室作對的其他少數民族。再如東胡族，因為居住在匈奴的東邊而得名，就是匈奴東邊的胡人的意思。
秦漢以後“胡人”的稱謂逐漸廣泛使用，把北方和西方的遊牧漁獵民族都囊括其中，從這些地區輸進的物產也被冠上“胡”字，像什麽“胡琴”、“胡椒”、“胡羅蔔”、“胡桃”、“胡瓜”等。
歷史上的遊牧民族真的都長著大胡子嗎？秦漢時期的匈奴人長什麽樣子，史書沒有描述，不過現存的漢朝驃騎將軍霍去病墓前的“馬踏匈奴”石像，那個被馬踩在腳下的匈奴武士卻是個大胡子。
五胡亂華時期的羯人，就具有深目、高鼻、多須的特點。關於羯人，《魏書》卷九五《羯胡石勒傳》雲：“其先匈奴別部，分散居於上黨、武鄉、羯室，因號羯胡”。
現經考證，認為羯人是中亞康居人，屬於白種人，與匈奴不是壹個民族，而是被匈奴作為戰俘帶入中原地區的。
其次，即使不是長著絡腮胡子，北方和西方的民族男子還有蓄胡的習慣，胡子拉碴的給人印象就是個大胡子，稱為“胡人”也就可以理解了。