亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

ResNet50 模型在 keras 中沒有通過遷移學習進行學習

ResNet50 模型在 keras 中沒有通過遷移學習進行學習

慕的地6264312 2022-06-22 20:42:23
我正在嘗試對在 PASCAL VOC 2012 數據集的 Imagenet 權重上預訓練的 ResNet50 模型執行遷移學習。由于它是一個多標簽數據集,我sigmoid在最后一層使用激活函數和binary_crossentropy損失。指標是precision,recall and accuracy。下面是我用來為 20 個類構建模型的代碼(PASCAL VOC 有 20 個類)。img_height,img_width = 128,128num_classes = 20#If imagenet weights are being loaded,#input must have a static square shape (one of (128, 128), (160, 160), (192, 192), or (224, 224))base_model = applications.resnet50.ResNet50(weights= 'imagenet', include_top=False, input_shape= (img_height,img_width,3))x = base_model.outputx = GlobalAveragePooling2D()(x)#x = Dropout(0.7)(x)predictions = Dense(num_classes, activation= 'sigmoid')(x)model = Model(inputs = base_model.input, outputs = predictions)for layer in model.layers[-2:]:        layer.trainable=Truefor layer in model.layers[:-3]:        layer.trainable=Falseadam = Adam(lr=0.0001)model.compile(optimizer= adam, loss='binary_crossentropy', metrics=['accuracy',precision_m,recall_m])#print(model.summary())X_train, X_test, Y_train, Y_test = train_test_split(x_train, y, random_state=42, test_size=0.2)savingcheckpoint = ModelCheckpoint('ResnetTL.h5',monitor='val_loss',verbose=1,save_best_only=True,mode='min')earlystopcheckpoint = EarlyStopping(monitor='val_loss',patience=10,verbose=1,mode='min',restore_best_weights=True)model.fit(X_train, Y_train, epochs=epochs, validation_data=(X_test,Y_test), batch_size=batch_size,callbacks=[savingcheckpoint,earlystopcheckpoint],shuffle=True)model.save_weights('ResnetTLweights.h5')它運行了 35 個 epoch,直到 earlystopping,指標如下(沒有 Dropout 層):我發現驗證集的準確率和召回率與帶有和不帶有 dropout 層的訓練集相比非常低。我該如何解釋這個?這是否意味著模型過度擬合。如果是這樣,我該怎么辦?截至目前,模型預測是相當隨機的(完全不正確)。數據集大小為 11000 張圖像。
查看完整描述

2 回答

?
暮色呼如

TA貢獻1853條經驗 獲得超9個贊

請您修改如下代碼并嘗試執行

從:

predictions = Dense(num_classes, activation= 'sigmoid')(x)

至:

predictions = Dense(num_classes, activation= 'softmax')(x)

從:

model.compile(optimizer= adam, loss='binary_crossentropy', metrics=['accuracy',precision_m,recall_m])

至:

model.compile(optimizer= adam, loss='categorical_crossentropy', metrics=['accuracy',precision_m,recall_m])


查看完整回答
反對 回復 2022-06-22
?
慕森王

TA貢獻1777條經驗 獲得超3個贊

這個問題已經很老了,但如果它對其他人有幫助,我會回答它:

在此示例中,您凍結了除最后兩個層(全局平均池化和最后一個密集層)之外的所有層。有一種更簡潔的方法可以達到相同的狀態:

rn50 = applications.resnet50.ResNet50(weights='imagenet', include_top=False, input_shape=(img_height, img_width, 3))x = rn50.outputx = GlobalAveragePooling2D()(x)predictions = Dense(num_classes, activation= 'sigmoid')(x)model = Model(inputs = base_model.input, outputs = predictions)rn50.trainable = False  # <- thismodel.compile(...)

在這種情況下,從 ResNet50 網絡中提取特征并饋送到線性 softmax 分類器,但沒有訓練 ResNet50 的權重。這稱為特征提取,而不是微調。

唯一正在訓練的權重來自您的分類器,該分類器是用從隨機分布中提取的權重實例化的,因此應該完全訓練。您應該使用 Adam 的默認學習率:

model.compile(optimizer=tf.optimizers.Adam(learning_rate=0.001))

所以你可以訓練它幾個時期,一旦完成,你就可以解凍主干并“微調”它:

backbone.trainable = Falsemodel.compile(optimizer=tf.optimizers.Adam(learning_rate=0.001))model.fit(epochs=50)backbone.trainable = Truemodel.compile(optimizer=tf.optimizers.Adam(learning_rate=0.00001))model.fit(epochs=60, initial_epoch=50)

Keras 網站上有一篇很好的文章:https ://keras.io/guides/transfer_learning/


查看完整回答
反對 回復 2022-06-22
  • 2 回答
  • 0 關注
  • 185 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號