我有兩組不同長度的訓練數據。我將這些數據系列稱為 x_train 數據。它們的形狀分別是 (70480, 7) 和 (69058, 7)。每列代表一個不同的傳感器讀數。我正在嘗試在此數據上使用 LSTM 網絡。我應該將數據合并到一個對象中嗎？我該怎么做？我還有兩組數據，它們是 x_train 數據的結果輸出。它們的大小都是 (315,1)。我會用它作為我的 y_train 數據嗎？pandas.read_csv()到目前為止，我已經使用如下方式讀取了數據：c4_x_train = pd.read_csv('path')c4_y_train = pd.read_csv('path')c6_x_train = pd.read_csv('path')c6_y_train = pd.read_csv('path')任何澄清表示贊賞。謝謝！
1 回答
慕雪6442864
TA貢獻1812條經驗 獲得超5個贊
只是幾點
為了快速讀取文件，請考慮使用不同的格式，如 parquet 或 feather。注意折舊，因此對于長期存儲，csv 就可以了。
pd.concat是你的朋友。像這樣使用
from pathlib import Path
import pandas as pd
dir_path = r"yourFolderPath"
files_list = [str(p) for p in dir_path.glob("**/*.csv")]
if files_list:
source_dfs = [pd.read_csv(file_) for file_ in files_list]
df = pd.concat(source_dfs, ignore_index=True)
這個 df 然后你可以用來做你的訓練。
現在，關于培訓。好吧，這真的取決于一如既往。如果您在這些 csvs 中有日期時間并且它們是連續的，請繼續。如果測量之間有中斷，則可能會遇到問題。根據趨勢、季節性和噪音，您可以插入缺失數據。有多種方法，例如樸素方法、用平均值填充它、根據之前的值進行預測等等。沒有對錯之分，這真的取決于你的數據是什么樣子的。
編輯：評論不喜歡代碼塊。像這樣工作： 示例：
#df1:
time value
1 1.4
2 2.5
#df2:
time value
3 1.1
4 1.0
#will be glued together to become df = pd.concat([df1, df2], ignore_index=True)
time value
1 1.4
2 2.5
3 1.1
4 1.0
添加回答
舉報
0/150
提交
取消