BP算法是由學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。由於多層前饋網絡的訓練經常采用誤差反向傳播算法，人們也常把將多層前饋網絡直接稱為BP網絡。
雖然BP算法得到廣泛的應用，但它也存在不足，其主要表現在訓練過程不確定上，具體如下。
1，訓練時間較長。對於某些特殊的問題，運行時間可能需要幾個小時甚至更長，這主要是因為學習率太小所致，可以采用自適應的學習率加以改進。
2，完全不能訓練。訓練時由於權值調整過大使激活函數達到飽和，從而使網絡權值的調節幾乎停滯。為避免這種情況，壹是選取較小的初始權值，二是采用較小的學習率。
3，易陷入局部極小值。BP算法可以使網絡權值收斂到壹個最終解，但它並不能保證所求為誤差超平面的全局最優解，也可能是壹個局部極小值。
這主要是因為BP算法所采用的是梯度下降法，訓練是從某壹起始點開始沿誤差函數的斜面逐漸達到誤差的最小值，故不同的起始點可能導致不同的極小值產生，即得到不同的最優解。如果訓練結果未達到預定精度，常常采用多層網絡和較多的神經元，以使訓練結果的精度進壹步提高，但與此同時也增加了網絡的復雜性與訓練時間。
4，“喜新厭舊”。訓練過程中，學習新樣本時有遺忘舊樣本的趨勢。
擴展資料：
BP算法最早由Werbos於1974年提出，1985年Rumelhart等人發展了該理論。BP網絡采用有指導的學習方式，其學習包括以下4個過程。
1，組成輸入模式由輸入層經過隱含層向輸出層的“模式順傳播”過程。
2，網絡的期望輸出與實際輸出之差的誤差信號由輸出層經過隱含層逐層休整連接權的“誤差逆傳播”過程。
3，由“模式順傳播”與“誤差逆傳播”的反復進行的網絡“記憶訓練”過程。
4，網絡趨向收斂即網絡的總體誤差趨向極小值的“學習收斂”過程。
百度百科-BP算法