平清盛掌握了中央政權，由於上層統治者的蛻化，引起下層武士的不滿，這就給源氏集團提供了奪取政權的良機。在源、平兩氏鬥爭中，源賴朝於1180年的椎模石橋山之戰中失敗，逃入鐮倉。鐮倉是物產豐富的魚米之鄉，地勢險要的戰略要地，也是源氏經營多年，與當地武士有密切聯系的地區，因此，源賴朝以此作為據點，與平氏作鬥爭，並致力於建立起自己的政權。1180年10月，源賴朝經富士川會戰，打敗平清盛大軍，被尊為“鐮倉殿”。平源相爭又經1184年攝津的壹谷和1185年岐屋島的會戰，最後在長門的壇浦戰爭中全殲平氏軍隊，平氏政權覆滅。源賴朝在這些源平會戰中，只是指派其弟源義經、源範賴出征，自己駐守鐮倉，從事政權建設。