Fisher線性判別分析的基本思想:選擇壹個投影方向(線性變換,線性組合),將高維問題降低到壹維問題來解決,同時變換後的壹維數據滿足每壹類內部的樣本盡可能聚集在壹起,不同類的樣本相隔盡可能地遠。
Fisher線性判別分析,就是通過給定的訓練數據,確定投影方向W和閾值w0, 即確定線性判別函數,然後根據這個線性判別函數,對測試數據進行測試,得到測試數據的類別。
Fisher判別分析是要實現有最大的類間距離,以及最小的類內距離。
性判別函數的壹般形式可表示成
g ( X ) = W T X + w 0 g(X)=W^TX+w_{0}
g(X)=W?
T X+w 0其中
Fisher選擇投影方向W的原則,即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開,類內樣本投影盡可能密集的要求。
(1)、W的確定
各類樣本均值向量mi
、Fisher線性判別的決策規則
1.投影後,各類樣本內部盡可能密集,即總類內離散度越小越好。
2.投影後,各類樣本盡可能離得遠,即樣本類間離散度越大越好。
根據這兩個性質,可求出。