?xgboost作為橫掃kaggle的王牌算法,其學習應用速度及運行速度都極其快速。在這篇分享中,我將不在贅述xgboost的算法原理,而是整合xgboost原生函數的參數解釋以作知識歸檔。( sklearn也封裝了xgboost,所以調用xgboost可以通過xgboost包和sklearn兩種方式 )
?xgboost的算法思想簡單來說是通過不斷地添加樹,不斷地進行特征分裂來生長壹棵樹,即學習壹個新函數去擬合上次預測的殘差。( 註意:新生成的樹要擬合上次預測的殘差。 )
?這是壹個字典,裏面包含著訓練中的參數關鍵字和對應的值,形式如下:
?(1)確定學習速率和提升參數調優的初始值
?(2)max_depth 和 min_child_weight 參數調優
?(3) gamma參數調優
?(4)subsample 和 colsample_bytree 參數優
?(5)正則化參數alpha調優
?(6)降低學習速率和使用更多的決策樹