日本軍刀的歷史，是從明治維新時開始的。在此之前，日本國內都是流行的武士刀，但在明治維新時，日本政府實行廢刀令，武士不能再公開攜帶刀劍，只有皇室成員、前各藩藩主（大名）、軍人和警察才能攜帶刀劍。
隨後，日本政府將國內武士手中的武士刀全部收繳，重新鑄成軍刀，用於軍隊兵器。
最開始，因為明治維新中，日本陸軍的戰術和軍制都是師從德國，海軍則為英國制，這也導致他們的軍刀也被西洋化，當時日本天皇、首相和軍官們，都是佩帶有櫻花紋飾的西洋式指揮刀。
等到1933年，隨著日本的崛起，日本國內開始提倡復興日本本土文化，這個時候開始有人不斷向政府提出復興日本刀劍的建議。
恰好就在這時，侵占中國東北的日本關東軍以第6、第8師團等部8萬余眾，向中國長城主峰口等處發起進攻，長城抗戰由此爆發。
當時，中國軍隊第29軍第37師的大刀隊在趙登禹旅長的率領下，乘雪夜迂回至喜峰口日軍側後，摧毀敵炮兵陣地，殲敵3000余人。
在這場戰爭中，日本士兵用他們的西洋指揮刀和中國士兵的大刀進行白刃戰，結果被殺得毫無還手之力，中國大刀壹戰成名。
事後，日本報紙發表聲明說：?自明治大帝造兵以來，皇軍名譽盡喪於喜峰口以外，而遭六十年來未有之侮辱。隨後，在日本陸軍大臣的倡導下，日軍遂於1934年廢棄華而不實的西洋式指揮刀，全部改為拼殺力度極大的日本式軍刀。自此，日本軍刀制度也終於形成。
當時的日本軍刀，主要仿照以前日本武士刀的樣式制作而成，主要有三種型號：壹種是裝備中高級軍官的將官軍刀；壹種是裝備中級軍官的佐官軍刀；最後壹種是裝備低級軍官的尉官軍刀。
從刀的樣式和材質來看，這三種型號的軍刀，並沒有多大區別，甚至看起來幾乎是壹模壹樣。它們最大的區別，主要有兩塊：刀柄顏色和裝飾。
關於刀柄顏色，通常情況下，尉官軍刀是黃銅色刀柄，佐官軍刀是銀色刀把，將官軍刀則是金色刀柄。
至於軍刀的裝飾，主要看?刀緒?的顏色，也就是掛在刀尾部的穗狀裝飾物的顏色，通常情況下，將官軍刀的刀緒是金色，佐官軍刀的刀緒是紅色，尉官軍刀的刀緒是青色。
當然，在軍刀的壹些工藝和細節上面，這三種型號的刀還會許多差別，但這需要專業懂刀的人士才能鑒定出來，對於我們大多數人來說，上面這兩種辦法，是最好且最快辨別它們的辦法。