從學習策略方面來看,如果比較嚴謹的講,那就是可分為兩種:
(1) 模擬人腦的機器學習
符號學習:模擬人腦的宏現心理級學習過程,以認知心理學原理為基礎,以符號數據為輸入,以符號運算為方法,用推理過程在圖或狀態空間中搜索,學習的目標為概念或規則等。符號學習的典型方法有記憶學習、示例學習、演繹學習.類比學習、解釋學習等。
神經網絡學習(或連接學習):模擬人腦的微觀生理級學習過程,以腦和神經科學原理為基礎,以人工神經網絡為函數結構模型,以數值數據為輸人,以數值運算為方法,用叠代過程在系數向量空間中搜索,學習的目標為函數。典型的連接學習有權值修正學習、拓撲結構學習。
(2) 直接采用數學方法的機器學習
主要有統計機器學習。
統計機器學習是基於對數據的初步認識以及學習目的的分析,選擇合適的數學模型,擬定超參數,並輸入樣本數據,依據壹定的策略,運用合適的學習算法對模型進行訓練,最後運用訓練好的模型對數據進行分析預測。
統計機器學習三個要素:
模型(model):模型在未進行訓練前,其可能的參數是多個甚至無窮的,故可能的模型也是多個甚至無窮的,這些模型構成的集合就是假設空間。
策略(strategy):即從假設空間中挑選出參數最優的模型的準則。模型的分類或預測結果與實際情況的誤差(損失函數)越小,模型就越好。那麽策略就是誤差最小。
算法(algorithm):即從假設空間中挑選模型的方法(等同於求解最佳的模型參數)。機器學習的參數求解通常都會轉化為最優化問題,故學習算法通常是最優化算法,例如最速梯度下降法、牛頓法以及擬牛頓法等。
如果從學習方法方面來看的話,主要是歸納學習和演繹學習以及類比學習、分析學習等。
如果是從學習方式方面來看,主要有三種,為監督學習、無監督學習、 強化學習。
當從數據形式上來看的話,為 結構化學習、非結構化學習、
還可從學習目標方面來看,為 概念學習、規則學習、函數學習、類別學習、貝葉斯網絡學習。