流水線技術是通過增加計算機硬件來實現的。例如要能預取指令，就需要增加取指令的硬件電路，並把取來的指令存放到指令隊列緩存器中，使MPU能同時進行取指令和分析，執行指令的操作。
流水線技術是壹種將每條指令分解為多步，並讓各步操作重疊，從而實現幾條指令並行處理的技術。程序中的指令仍是壹條條順序執行，但可以預先取若幹條指令，並在當前指令尚未執行完時，提前啟動後續指令的另壹些操作步驟。這樣顯然可加速壹段程序的運行過程。
理想情況下，每步需要壹個時鐘周期。當流水線完全裝滿時，每個時鐘周期平均有壹條指令從流水線上執行完畢，輸出結果，就像轎車從組裝線上開出來壹樣。