亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

使用 log_loss/roc_auc_score 或執行 cross_val_score 并評分

使用 log_loss/roc_auc_score 或執行 cross_val_score 并評分

RISEBY 2023-09-26 14:58:23
在探索 Scikit learn 中的一些分類模型時,我注意到執行交叉驗證時獲得的對數損失和 ROC AUC 分數始終低于在整個訓練集上進行擬合和預測(用于檢查過度擬合)時的分數,但事實并非如此對我來說有意義。具體來說,使用cross_validate我將評分設置為['neg_log_loss', 'roc_auc'],在對訓練集執行手動擬合和預測時,我使用了度量函數log_loss'和roc_auc_score。為了嘗試弄清楚發生了什么,我編寫了一段代碼來手動執行交叉驗證,以便能夠在各個折疊上手動調用度量函數并將結果與cross_validate . 正如你在下面看到的,即使這樣我也得到了不同的結果!from sklearn.model_selection import StratifiedKFoldkf = KFold(n_splits=3, random_state=42, shuffle=True)log_reg = LogisticRegression(max_iter=1000)for train_index, test_index in kf.split(dataset, dataset_labels):    X_train, X_test = dataset[train_index], dataset[test_index]    y_train, y_test = dataset_labels_np[train_index], dataset_labels_np[test_index]    log_reg.fit(X_train, y_train)    pr = log_reg.predict(X_test)    ll = log_loss(y_test, pr)    print(ll)from sklearn.model_selection import cross_val_scorecv_ll = cross_val_score(log_reg, dataset_prepared_stand, dataset_labels, scoring='neg_log_loss',                            cv=KFold(n_splits=3, random_state=42, shuffle=True))print(abs(cv_ll))輸出:4.7954818692750264.5601191705175345.589818973403791[0.409817 0.32309  0.398375]針對 ROC AUC 運行相同代碼的輸出為:0.86096695922726860.86785632399079380.8367147503682851[0.925635 0.94032  0.910885]為了確保代碼編寫正確,我還嘗試使用代碼'accuracy'作為交叉驗證的評分和accuracy_score度量函數,結果是一致的:0.86115843270868820.86797274275979550.838160136286201[0.861158 0.867973 0.83816 ]有人可以解釋一下為什么 log loss 和 ROC AUC 的結果不同嗎?謝謝!
查看完整描述

1 回答

?
慕碼人8056858

TA貢獻1803條經驗 獲得超6個贊

Log-loss 和 auROC 都需要概率預測,而不是硬類預測。所以改變

pr = log_reg.predict(X_test)

pr = log_reg.predict_proba(X_test)[:, 1]

(下標是為了獲取正類的概率,并假設您正在進行二元分類)。


查看完整回答
反對 回復 2023-09-26
  • 1 回答
  • 0 關注
  • 109 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號