我使用 pandas 進行機器學習的特征提取。我希望實現以下目標：考慮我按順序完成了五個數據處理步驟，并且我執行了一次。結果將自動保存。下次如果我改第四步，庫會自動從第三步開始。Pandas 或sklearn.pipeline.Pipeline其他數據處理庫自然會支持此緩存功能，而無需我們顯式保存它們嗎？
2 回答
慕尼黑5688855
TA貢獻1848條經驗 獲得超2個贊
MLFlow Tracking有一些在 Dagster 中似乎缺乏的不錯的功能（當前 git 提交的記錄、ML 指標等）。它們還與Databricks很好地集成，可以輕松進行集群部署。但是，他們確實缺乏構建 Dagster 擅長的復雜管道。
有沒有辦法獲得“世界上最好的”？也就是說，將 Dagster 與 MLFlow 集成并因此在 Databricks 上運行？
或者有什么好的選擇嗎？
jeck貓
TA貢獻1909條經驗 獲得超7個贊
VevestaX ( https://github.com/Vevesta/VevestaX ) 可用于跟蹤機器學習實驗中使用的特征和參數。它可以安裝
pip install vevestaX
具有簡單的命令來跟蹤使用的功能。例子：
V.dataSourcing = df
在 jupyter notebook 中，此命令需要運行一次，它將捕獲功能?；蛘咭东@特征工程，您只需要運行以下命令
V.featureEngineering = df
或者
V.fe = df
最后，可以通過在代碼塊 V.start() 和 V.end() 之間寫入變量來捕獲變量
V.start()
epochs = 10
V.end()
添加回答
舉報
0/150
提交
取消