在探索 Scikit learn 中的一些分類模型時,我注意到執行交叉驗證時獲得的對數損失和 ROC AUC 分數始終低于在整個訓練集上進行擬合和預測(用于檢查過度擬合)時的分數,但事實并非如此對我來說有意義。具體來說,使用cross_validate我將評分設置為['neg_log_loss', 'roc_auc'],在對訓練集執行手動擬合和預測時,我使用了度量函數log_loss'和roc_auc_score。為了嘗試弄清楚發生了什么,我編寫了一段代碼來手動執行交叉驗證,以便能夠在各個折疊上手動調用度量函數并將結果與cross_validate . 正如你在下面看到的,即使這樣我也得到了不同的結果!from sklearn.model_selection import StratifiedKFoldkf = KFold(n_splits=3, random_state=42, shuffle=True)log_reg = LogisticRegression(max_iter=1000)for train_index, test_index in kf.split(dataset, dataset_labels): X_train, X_test = dataset[train_index], dataset[test_index] y_train, y_test = dataset_labels_np[train_index], dataset_labels_np[test_index] log_reg.fit(X_train, y_train) pr = log_reg.predict(X_test) ll = log_loss(y_test, pr) print(ll)from sklearn.model_selection import cross_val_scorecv_ll = cross_val_score(log_reg, dataset_prepared_stand, dataset_labels, scoring='neg_log_loss', cv=KFold(n_splits=3, random_state=42, shuffle=True))print(abs(cv_ll))輸出:4.7954818692750264.5601191705175345.589818973403791[0.409817 0.32309 0.398375]針對 ROC AUC 運行相同代碼的輸出為:0.86096695922726860.86785632399079380.8367147503682851[0.925635 0.94032 0.910885]為了確保代碼編寫正確,我還嘗試使用代碼'accuracy'作為交叉驗證的評分和accuracy_score度量函數,結果是一致的:0.86115843270868820.86797274275979550.838160136286201[0.861158 0.867973 0.83816 ]有人可以解釋一下為什么 log loss 和 ROC AUC 的結果不同嗎?謝謝!
1 回答

慕碼人8056858
TA貢獻1803條經驗 獲得超6個贊
Log-loss 和 auROC 都需要概率預測,而不是硬類預測。所以改變
pr = log_reg.predict(X_test)
到
pr = log_reg.predict_proba(X_test)[:, 1]
(下標是為了獲取正類的概率,并假設您正在進行二元分類)。
添加回答
舉報
0/150
提交
取消