譯註：文內提供的代碼和運行結果有壹定差異，可以從這裏下載完整代碼對照參考。另外，我自己跟著教程做的時候，發現我的庫無法解析字符串類型的特征，所以只用其中壹部分特征做的，具體數值跟文章中不壹樣，反而可以幫助理解文章。所以大家其實也可以小小修改壹下代碼，不壹定要完全跟著教程做~ ^0^
需要提前安裝好的庫：
簡介
如果妳的預測模型表現得有些不盡如人意，那就用XGBoost吧。XGBoost算法現在已經成為很多數據工程師的重要武器。它是壹種十分精致的算法，可以處理各種不規則的數據。
構造壹個使用XGBoost的模型十分簡單。但是，提高這個模型的表現就有些困難(至少我覺得十分糾結)。這個算法使用了好幾個參數。所以為了提高模型的表現，參數的調整十分必要。在解決實際問題的時候，有些問題是很難回答的——妳需要調整哪些參數？這些參數要調到什麽值，才能達到理想的輸出？
這篇文章最適合剛剛接觸XGBoost的人閱讀。在這篇文章中，我們會學到參數調優的技巧，以及XGboost相關的壹些有用的知識。以及，我們會用Python在壹個數據集上實踐壹下這個算法。
妳需要知道的
XGBoost(eXtreme Gradient Boosting)是Gradient Boosting算法的壹個優化的版本。
特別鳴謝：我個人十分感謝Mr Sudalai Rajkumar (aka SRK)大神的支持，目前他在AV Rank中位列第二。如果沒有他的幫助，就沒有這篇文章。在他的幫助下，我們才能給無數的數據科學家指點迷津。給他壹個大大的贊！
內容列表
1、XGBoost的優勢
2、理解XGBoost的參數
3、調整參數(含示例)
1、XGBoost的優勢
XGBoost算法可以給預測模型帶來能力的提升。當我對它的表現有更多了解的時候，當我對它的高準確率背後的原理有更多了解的時候，我發現它具有很多優勢：
1、正則化
標準GBM的實現沒有像XGBoost這樣的正則化步驟。正則化對減少過擬合也是有幫助的。 實際上，XGBoost以“正則化提升(regularized boosting)”技術而聞名。
2、並行處理
XGBoost可以實現並行處理，相比GBM有了速度的飛躍。 不過，眾所周知，Boosting算法是順序處理的，它怎麽可能並行呢？每壹課樹的構造都依賴於前壹棵樹，那具體是什麽讓我們能用多核處理器去構造壹個樹呢？我希望妳理解了這句話的意思。?XGBoost 也支持Hadoop實現。
3、高度的靈活性
XGBoost 允許用戶定義自定義優化目標和評價標準?它對模型增加了壹個全新的維度，所以我們的處理不會受到任何限制。
4、缺失值處理
XGBoost內置處理缺失值的規則。 用戶需要提供壹個和其它樣本不同的值，然後把它作為壹個參數傳進去，以此來作為缺失值的取值。XGBoost在不同節點遇到缺失值時采用不同的處理方法，並且會學習未來遇到缺失值時的處理方法。
5、剪枝
當分裂時遇到壹個負損失時，GBM會停止分裂。因此GBM實際上是壹個貪心算法。 XGBoost會壹直分裂到指定的最大深度(max_depth)，然後回過頭來剪枝。如果某個節點之後不再有正值，它會去除這個分裂。 這種做法的優點，當壹個負損失（如-2）後面有個正損失（如+10）的時候，就顯現出來了。GBM會在-2處停下來，因為它遇到了壹個負值。但是XGBoost會繼續分裂，然後發現這兩個分裂綜合起來會得到+8，因此會保留這兩個分裂。
6、內置交叉驗證
XGBoost允許在每壹輪boosting叠代中使用交叉驗證。因此，可以方便地獲得最優boosting叠代次數。 而GBM使用網格搜索，只能檢測有限個值。
7、在已有的模型基礎上繼續
XGBoost可以在上壹輪的結果上繼續訓練。這個特性在某些特定的應用上是壹個巨大的優勢。 sklearn中的GBM的實現也有這個功能，兩種算法在這壹點上是壹致的。
相信妳已經對XGBoost強大的功能有了點概念。註意這是我自己總結出來的幾點，妳如果有更多的想法，盡管在下面評論指出，我會更新這個列表的！
2、XGBoost的參數
XGBoost的作者把所有的參數分成了三類：
1、通用參數：宏觀函數控制。
2、Booster參數：控制每壹步的booster(tree/regression)。
3、學習目標參數：控制訓練目標的表現。
在這裏我會類比GBM來講解，所以作為壹種基礎知識。
通用參數
這些參數用來控制XGBoost的宏觀功能。
1、booster[默認gbtree]
選擇每次叠代的模型，有兩種選擇：
gbtree：基於樹的模型
gbliner：線性模型
2、silent[默認0]
當這個參數值為1時，靜默模式開啟，不會輸出任何信息。 壹般這個參數就保持默認的0，因為這樣能幫我們更好地理解模型。
3、nthread[默認值為最大可能的線程數]
這個參數用來進行多線程控制，應當輸入系統的核數。 如果妳希望使用CPU全部的核，那就不要輸入這個參數，算法會自動檢測它。
還有兩個參數，XGBoost會自動設置，目前妳不用管它。接下來咱們壹起看booster參數。
booster參數
盡管有兩種booster可供選擇，我這裏只介紹tree booster，因為它的表現遠遠勝過linear booster，所以linear booster很少用到。
1、eta[默認0.3]
和GBM中的 learning rate 參數類似。 通過減少每壹步的權重，可以提高模型的魯棒性。 典型值為0.01-0.2。
2、min_child_weight[默認1]
決定最小葉子節點樣本權重和。 和GBM的 min_child_leaf 參數類似，但不完全壹樣。XGBoost的這個參數是最小樣本權重的和，而GBM參數是最小樣本總數。 這個參數用於避免過擬合。當它的值較大時，可以避免模型學習到局部的特殊樣本。 但是如果這個值過高，會導致欠擬合。這個參數需要使用CV來調整。
3、max_depth[默認6]
和GBM中的參數相同，這個值為樹的最大深度。 這個值也是用來避免過擬合的。max_depth越大，模型會學到更具體更局部的樣本。 需要使用CV函數來進行調優。 典型值：3-10
4、max_leaf_nodes
樹上最大的節點或葉子的數量。 可以替代max_depth的作用。因為如果生成的是二叉樹，壹個深度為n的樹最多生成
n2
個葉子。 如果定義了這個參數，GBM會忽略max_depth參數。
5、gamma[默認0]
在節點分裂時，只有分裂後損失函數的值下降了，才會分裂這個節點。Gamma指定了節點分裂所需的最小損失函數下降值。 這個參數的值越大，算法越保守。這個參數的值和損失函數息息相關，所以是需要調整的。
6、max_delta_step[默認0]
這參數限制每棵樹權重改變的最大步長。如果這個參數的值為0，那就意味著沒有約束。如果它被賦予了某個正值，那麽它會讓這個算法更加保守。 通常，這個參數不需要設置。但是當各類別的樣本十分不平衡時，它對邏輯回歸是很有幫助的。 這個參數壹般用不到，但是妳可以挖掘出來它更多的用處。
7、subsample[默認1]
和GBM中的subsample參數壹模壹樣。這個參數控制對於每棵樹，隨機采樣的比例。 減小這個參數的值，算法會更加保守，避免過擬合。但是，如果這個值設置得過小，它可能會導致欠擬合。 典型值：0.5-1
8、colsample_bytree[默認1]
和GBM裏面的max_features參數類似。用來控制每棵隨機采樣的列數的占比(每壹列是壹個特征)。 典型值：0.5-1
9、colsample_bylevel[默認1]
用來控制樹的每壹級的每壹次分裂，對列數的采樣的占比。 我個人壹般不太用這個參數，因為subsample參數和colsample_bytree參數可以起到相同的作用。但是如果感興趣，可以挖掘這個參數更多的用處。
10、lambda[默認1]
權重的L2正則化項。(和Ridge regression類似)。 這個參數是用來控制XGBoost的正則化部分的。雖然大部分數據科學家很少用到這個參數，但是這個參數在減少過擬合上還是可以挖掘出更多用處的。
11、alpha[默認1]
權重的L1正則化項。(和Lasso regression類似)。 可以應用在很高維度的情況下，使得算法的速度更快。
12、scale_pos_weight[默認1]
在各類別樣本十分不平衡時，把這個參數設定為壹個正值，可以使算法更快收斂。
學習目標參數
這個參數用來控制理想的優化目標和每壹步結果的度量方法。
1、objective[默認reg:linear]
這個參數定義需要被最小化的損失函數。最常用的值有：
binary:logistic 二分類的邏輯回歸，返回預測的概率(不是類別)。 multi:softmax 使用softmax的多分類器，返回預測的類別(不是概率)。
在這種情況下，妳還需要多設壹個參數：num_class(類別數目)。 multi:softprob 和multi:softmax參數壹樣，但是返回的是每個數據屬於各個類別的概率。
2、eval_metric[默認值取決於objective參數的取值]
對於有效數據的度量方法。 對於回歸問題，默認值是rmse，對於分類問題，默認值是error。 典型值有：
rmse 均方根誤差(
∑Ni=1?2N?√
) mae 平均絕對誤差(
∑Ni=1|?|N
) logloss 負對數似然函數值 error 二分類錯誤率(閾值為0.5) merror 多分類錯誤率 mlogloss 多分類logloss損失函數 auc 曲線下面積
3、seed(默認0)
隨機數的種子 設置它可以復現隨機數據的結果，也可以用於調整參數
如果妳之前用的是Scikit-learn,妳可能不太熟悉這些參數。但是有個好消息，python的XGBoost模塊有壹個sklearn包，XGBClassifier。這個包中的參數是按sklearn風格命名的。會改變的函數名是：
1、eta ->learning_rate
2、lambda->reg_lambda
3、alpha->reg_alpha
妳肯定在疑惑為啥咱們沒有介紹和GBM中的’n_estimators’類似的參數。XGBClassifier中確實有壹個類似的參數，但是，是在標準XGBoost實現中調用擬合函數時，把它作為’num_boosting_rounds’參數傳入。
調整參數(含示例)
我已經對這些數據進行了壹些處理：
City變量，因為類別太多，所以刪掉了壹些類別。 DOB變量換算成年齡，並刪除了壹些數據。 增加了 EMI_Loan_Submitted_Missing 變量。如果EMI_Loan_Submitted變量的數據缺失，則這個參數的值為1。否則為0。刪除了原先的EMI_Loan_Submitted變量。 EmployerName變量，因為類別太多，所以刪掉了壹些類別。 因為Existing_EMI變量只有111個值缺失，所以缺失值補充為中位數0。 增加了 Interest_Rate_Missing 變量。如果Interest_Rate變量的數據缺失，則這個參數的值為1。否則為0。刪除了原先的Interest_Rate變量。 刪除了Lead_Creation_Date，從直覺上這個特征就對最終結果沒什麽幫助。 Loan_Amount_Applied, Loan_Tenure_Applied 兩個變量的缺項用中位數補足。 增加了 Loan_Amount_Submitted_Missing 變量。如果Loan_Amount_Submitted變量的數據缺失，則這個參數的值為1。否則為0。刪除了原先的Loan_Amount_Submitted變量。 增加了 Loan_Tenure_Submitted_Missing 變量。如果 Loan_Tenure_Submitted 變量的數據缺失，則這個參數的值為1。否則為0。刪除了原先的 Loan_Tenure_Submitted 變量。 刪除了LoggedIn, Salary_Account 兩個變量 增加了 Processing_Fee_Missing 變量。如果 Processing_Fee 變量的數據缺失，則這個參數的值為1。否則為0。刪除了原先的 Processing_Fee 變量。 Source前兩位不變，其它分成不同的類別。 進行了量化和獨熱編碼(壹位有效編碼)。
如果妳有原始數據，可以從資源庫裏面下載data_preparation的Ipython notebook 文件，然後自己過壹遍這些步驟。
首先，import必要的庫，然後加載數據。
#Import libraries:
import pandas as pd
import numpy as np
import xgboost as xgb
from xgboost.sklearn import XGBClassifier
from sklearn import cross_validation, metrics ? #Additional scklearn functions
from sklearn.grid_search import GridSearchCV ? #Perforing grid search
import matplotlib.pylab as plt
%matplotlib inline
from matplotlib.pylab import rcParams
rcParams['figure.figsize'] = 12, 4
train = pd.read_csv('train_modified.csv')
target = 'Disbursed'
IDcol = 'ID'
註意我import了兩種XGBoost：
xgb - 直接引用xgboost。接下來會用到其中的“cv”函數。 XGBClassifier - 是xgboost的sklearn包。這個包允許我們像GBM壹樣使用Grid Search 和並行處理。
在向下進行之前，我們先定義壹個函數，它可以幫助我們建立XGBoost models 並進行交叉驗證。好消息是妳可以直接用下面的函數，以後再自己的models中也可以使用它。
def modelfit(alg, dtrain, predictors,useTrainCV=True, cv_folds=5, early_stopping_rounds=50):
if useTrainCV:
xgb_param = alg.get_xgb_params()
xgtrain = xgb.DMatrix(dtrain[predictors].values, label=dtrain[target].values)
cvresult = xgb.cv(xgb_param, xgtrain, num_boost_round=alg.get_params()['n_estimators'], nfold=cv_folds,
metrics='auc', early_stopping_rounds=early_stopping_rounds, show_progress=False)
alg.set_params(n_estimators=cvresult.shape[0])
#Fit the algorithm on the data
alg.fit(dtrain[predictors], dtrain['Disbursed'],eval_metric='auc')
#Predict training set:
dtrain_predictions = alg.predict(dtrain[predictors])
dtrain_predprob = alg.predict_proba(dtrain[predictors])[:,1]
#Print model report:
print "\nModel Report"
print "Accuracy : %.4g" % metrics.accuracy_score(dtrain['Disbursed'].values, dtrain_predictions)
print "AUC Score (Train): %f" % metrics.roc_auc_score(dtrain['Disbursed'], dtrain_predprob)
feat_imp = pd.Series(alg.booster().get_fscore()).sort_values(ascending=False)
feat_imp.plot(kind='bar', title='Feature Importances')
plt.ylabel('Feature Importance Score')
這個函數和GBM中使用的有些許不同。不過本文章的重點是講解重要的概念，而不是寫代碼。如果哪裏有不理解的地方，請在下面評論，不要有壓力。註意xgboost的sklearn包沒有“feature_importance”這個量度，但是get_fscore()函數有相同的功能。
參數調優的壹般方法。
我們會使用和GBM中相似的方法。需要進行如下步驟：
1. 選擇較高的學習速率(learning rate)。壹般情況下，學習速率的值為0.1。但是，對於不同的問題，理想的學習速率有時候會在0.05到0.3之間波動。選擇對應於此學習速率的理想決策樹數量。XGBoost有壹個很有用的函數“cv”，這個函數可以在每壹次叠代中使用交叉驗證，並返回理想的決策樹數量。
2. 對於給定的學習速率和決策樹數量，進行決策樹特定參數調優(max_depth, min_child_weight, gamma, subsample, colsample_bytree)。在確定壹棵樹的過程中，我們可以選擇不同的參數，待會兒我會舉例說明。
3. xgboost的正則化參數的調優。(lambda, alpha)。這些參數可以降低模型的復雜度，從而提高模型的表現。
4. 降低學習速率，確定理想參數。
咱們壹起詳細地壹步步進行這些操作。
第壹步：確定學習速率和tree_based 參數調優的估計器數目。
為了確定boosting 參數，我們要先給其它參數壹個初始值。咱們先按如下方法取值：
1、max_depth = 5 :這個參數的取值最好在3-10之間。我選的起始值為5，但是妳也可以選擇其它的值。起始值在4-6之間都是不錯的選擇。
2、min_child_weight = 1:在這裏選了壹個比較小的值，因為這是壹個極不平衡的分類問題。因此，某些葉子節點下的值會比較小。
3、gamma = 0: 起始值也可以選其它比較小的值，在0.1到0.2之間就可以。這個參數後繼也是要調整的。
4、subsample,colsample_bytree = 0.8: 這個是最常見的初始值了。典型值的範圍在0.5-0.9之間。
5、scale_pos_weight = 1: 這個值是因為類別十分不平衡。
註意哦，上面這些參數的值只是壹個初始的估計值，後繼需要調優。這裏把學習速率就設成默認的0.1。然後用xgboost中的cv函數來確定最佳的決策樹數量。前文中的函數可以完成這個工作。
#Choose all predictors except target & IDcols
predictors = [x for x in train.columns if x not in [target,IDcol]]
xgb1 = XGBClassifier(
learning_rate =0.1,
n_estimators=1000,
max_depth=5,
min_child_weight=1,
gamma=0,
subsample=0.8,
colsample_bytree=0.8,
objective= 'binary:logistic',
nthread=4,
scale_pos_weight=1,
seed=27)
modelfit(xgb1, train, predictors)
從輸出結果可以看出，在學習速率為0.1時，理想的決策樹數目是140。這個數字對妳而言可能比較高，當然這也取決於妳的系統的性能。
註意：在AUC(test)這裏妳可以看到測試集的AUC值。但是如果妳在自己的系統上運行這些命令，並不會出現這個值。因為數據並不公開。這裏提供的值僅供參考。生成這個值的代碼部分已經被刪掉了。<喎?"/kf/ware/vc/" target="_blank" class="keylink">vcD4NCjwvYmxvY2txdW90ZT4NCjxoMSBpZD0="第二步-maxdepth-和-minweight-參數調優">第二步： max_depth 和 min_weight 參數調優
我們先對這兩個參數調優，是因為它們對最終結果有很大的影響。首先，我們先大範圍地粗調參數，然後再小範圍地微調。
註意：在這壹節我會進行高負荷的柵格搜索(grid search)，這個過程大約需要15-30分鐘甚至更久，具體取決於妳系統的性能。妳也可以根據自己系統的性能選擇不同的值。
param_test1 = {
'max_depth':range(3,10,2),
'min_child_weight':range(1,6,2)
}
gsearch1 = GridSearchCV(estimator = XGBClassifier( learning_rate =0.1, n_estimators=140, max_depth=5,
min_child_weight=1, gamma=0, subsample=0.8, colsample_bytree=0.8,
objective= 'binary:logistic', nthread=4, scale_pos_weight=1, seed=27),
param_grid = param_test1, scoring='roc_auc',n_jobs=4,iid=False, cv=5)
gsearch1.fit(train[predictors],train[target])
gsearch1.grid_scores_, gsearch1.best_params_, gsearch1.best_score_