SIFT算法主要分為四個步驟：
1、尺度空間極值檢測（Scale-space extrema detection）：通過使用高斯差分函數來搜索所有尺度上的圖像位置，識別出其中對於尺度和方向不變的潛在興趣點。
2、關鍵點定位（Keypoint localizatio）：在每個候選位置上，利用壹個擬合精細的模型確定位置、和尺度，關鍵點的選擇依賴於它們的穩定程度。
3、方向匹配（Orientation assignment，為每個關鍵點賦予方向）：基於局部圖像的梯度方向，為每個關鍵點位置分配壹個或多個方向，後續所有對圖像數據的操作都是基於相對關鍵點的方向、尺度和位置進行變換，從而獲得了方向於尺度的不變性。
4、關鍵點描述符（Keypoint descriptor）：在每個關鍵點領域內，以選定的尺度計算局部圖像梯度，這些梯度被變換成壹種表示，這種表示允許比較大的局部形狀的變形和光照變化。