這是問題所在：在實驗室中，會創建非常大的顯微鏡數據（每個文件從 1GB 到 200GB）。我們將元數據作為 JSONS 存儲在 MongoDB 中。但是我們找不到合適的本地/開源平臺來存儲這些文件。我們嘗試過 Hadoop，但它是一個非常復雜的框架，我們不需要很多特性。我們只需要一個 BLOB / 對象存儲，如果可能的話，使用 Python API 通過自建的 GUI 讀取和寫入數據。已經評估過 Ceph、OpenStack Swift、OwnCloud、Gluster 等，但由于 max_limit_size_of_file 的原因，我們每個都失敗了。其中許多提到的每個文件的最大限制為 5GB。存儲這些文件的最佳方式是什么？我們需要以下功能：Python（和 REST）API沒有最大限制大小開源/本地軟件對象/Blob 存儲如果可能的話，復制數據不幸的是，出于合規性原因，云解決方案不是一種選擇。
4 回答
一只萌萌小番薯
TA貢獻1795條經驗 獲得超7個贊
您需要保留多少個文件？具有文件共享的普通文件系統非常適合存儲大型二進制數據。您可以將元數據以及目錄路徑存儲在 mongoDB 中。
您可能需要或不需要擔心的一件事是您需要存儲多少文件。根據我的經驗，如果您要存儲數千個文件，那么您需要弄清楚如何跨文件夾分發文件。如果您存儲對象的哈希值，您可以創建一個函數，該函數根據哈希值計算存儲文件的目錄。如果您熟悉 git，這正是它存儲對象的方式。
幕布斯7119047
TA貢獻1794條經驗 獲得超8個贊
添加回答
舉報
0/150
提交
取消