根據這個問題的建議,我一直在運行一個Python應用程序,該應用程序使用AI平臺使用Tensorflow運行模擬并將結果輸出到csv文件。在此之后,我一直在使用Jupyter。效果很好,我增加了 VM 的大小以更快地運行它?,F在,我如何添加機器以使其運行得更快,也許使用 Spark 和/或 Dataproc,或者理想情況下,更簡單的方法?
1 回答

慕姐8265434
TA貢獻1813條經驗 獲得超2個贊
AI平臺筆記本基于一臺機器。要使用計算機群集來處理數據,可以在 Dataproc 上使用 Jupyter 筆記本。要自動配置此配置,請使用類似于以下內容的集群:
REGION=<gce_region> gcloud beta dataproc clusters create ${CLUSTER_NAME} \ --region ${REGION} \ --optional-components ANACONDA,JUPYTER \ --initialization-actions gs://goog-dataproc-initialization-actions-${REGION}/tony/tony.sh \ --enable-component-gateway
這將提供一個 Spark 集群,該集群配置了 Jupyter 筆記本和用于在集群上運行張量流的框架 (Tony)。
有關數據過程筆記本的更多信息,請查看: https://medium.com/google-cloud/apache-spark-and-jupyter-notebooks-made-easy-with-dataproc-component-gateway-fa91d48d6a5a
有關托尼的更多信息,請查看這篇文章。
如果您正在尋找更多的無服務器方法,您還可以查看AI平臺分布式訓練:
https://cloud.google.com/ai-platform/training/docs/packaging-trainer
https://cloud.google.com/ai-platform/training/docs/distributed-training-containers
- 1 回答
- 0 關注
- 91 瀏覽
添加回答
舉報
0/150
提交
取消