我已經訓練了我的網絡并生成了一些訓練/驗證損失，我通過以下代碼示例保存了這些損失（僅訓練損失示例，驗證完全等效）：valid_summary_writer = tf.summary.create_file_writer("/path/to/logs/")with train_summary_writer.as_default(): tf.summary.scalar('Training Loss', data=epoch_loss, step=current_step)訓練后，我想使用 Tensorboard 查看損失曲線。但是，因為我將損失曲線保存在名稱“Training Loss”和“Validation Loss”下，所以這些曲線繪制在單獨的圖表上。我知道我應該將名稱更改為簡單的“損失”以解決此問題，以便將來寫入日志目錄。但是如何編輯我現有的訓練/驗證損失日志文件來解決這個問題？我試圖修改以下帖子的解決方案：https://stackoverflow.com/a/55061404編輯日志文件的步驟并重新寫入文件；我的版本涉及更改文件中的標簽。但我在這方面沒有成功。它還需要通過 'tf.compat.v1' 導入較舊的 Tensorflow 代碼。有沒有辦法實現這一點（可能在 TF 2.X 中）？我曾想過簡單地從包含損失的每個日志目錄中獲取損失和步長值，并通過我以前的工作方法將它們寫入新的日志文件，但我只設法獲得了步長，而不是損失值本身。有人在這里取得過成功嗎？---=== 編輯 ===---我設法使用來自@jhedesa 的代碼解決了這個問題我不得不稍微改變調用函數“rename_events_dir”的方式，因為我在 Google Colab Notebook 中協同使用 Tensorflow。為此，我更改了代碼的最后一部分：if __name__ == '__main__': if len(sys.argv) != 5: print(f'{sys.argv[0]} <input dir> <output dir> <old tags> <new tag>', file=sys.stderr) sys.exit(1) input_dir, output_dir, old_tags, new_tag = sys.argv[1:] old_tags = old_tags.split(';') rename_events_dir(input_dir, output_dir, old_tags, new_tag) print('Done')要閱讀此內容：rootpath = '/path/to/model/'dirlist = [dirname for dirname in os.listdir(rootpath) if dirname not in ['train', 'valid']]for dirname in dirlist: rename_events_dir(rootpath + dirname + '/train', rootpath + '/train', 'Training Loss', 'loss') rename_events_dir(rootpath + dirname + '/valid', rootpath + '/valid', 'Validation Loss', 'loss')請注意，我調用了兩次“rename_events_dir”，一次用于編輯訓練損失的標簽，一次用于驗證損失標簽。我可以通過設置“old_tags = 'Training Loss;Validation Loss'”并使用“old_tags = old_tags.split(';')”來拆分標簽來使用之前調用代碼的方法。我使用我的方法只是為了理解代碼以及它如何處理數據。
1 回答
忽然笑
TA貢獻1806條經驗 獲得超5個贊
正如如何在 Tensorboard 中加載選定范圍的樣本中所述，TensorBoard 事件實際上是存儲的記錄文件，因此您可以讀取它們并按原樣處理它們。這是一個與那里發布的腳本類似的腳本，但用于重命名事件，并更新為在 TF 2.x 中工作。
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# rename_events.py
import sys
from pathlib import Path
import os
# Use this if you want to avoid using the GPU
os.environ['CUDA_VISIBLE_DEVICES'] = '-1'
import tensorflow as tf
from tensorflow.core.util.event_pb2 import Event
def rename_events(input_path, output_path, old_tags, new_tag):
# Make a record writer
with tf.io.TFRecordWriter(str(output_path)) as writer:
# Iterate event records
for rec in tf.data.TFRecordDataset([str(input_path)]):
# Read event
ev = Event()
ev.MergeFromString(rec.numpy())
# Check if it is a summary
if ev.summary:
# Iterate summary values
for v in ev.summary.value:
# Check if the tag should be renamed
if v.tag in old_tags:
# Rename with new tag name
v.tag = new_tag
writer.write(ev.SerializeToString())
def rename_events_dir(input_dir, output_dir, old_tags, new_tag):
input_dir = Path(input_dir)
output_dir = Path(output_dir)
# Make output directory
output_dir.mkdir(parents=True, exist_ok=True)
# Iterate event files
for ev_file in input_dir.glob('**/*.tfevents*'):
# Make directory for output event file
out_file = Path(output_dir, ev_file.relative_to(input_dir))
out_file.parent.mkdir(parents=True, exist_ok=True)
# Write renamed events
rename_events(ev_file, out_file, old_tags, new_tag)
if __name__ == '__main__':
if len(sys.argv) != 5:
print(f'{sys.argv[0]} <input dir> <output dir> <old tags> <new tag>',
file=sys.stderr)
sys.exit(1)
input_dir, output_dir, old_tags, new_tag = sys.argv[1:]
old_tags = old_tags.split(';')
rename_events_dir(input_dir, output_dir, old_tags, new_tag)
print('Done')
你會像這樣使用它：
> python rename_events.py my_log_dir renamed_log_dir "Training Loss;Validation Loss" loss
添加回答
舉報
0/150
提交
取消