我有 6 個大數據 tsv 文件，我正在將這些文件讀入 Google Collab 中的數據幀。但是，文件太大，Google Colab 無法處理。#Crew datadownloaded = drive.CreateFile({'id':'16'}) downloaded.GetContentFile('title.crew.tsv') df_crew = pd.read_csv('title.crew.tsv',header=None,sep='\t',dtype='unicode')#Ratings datadownloaded = drive.CreateFile({'id':'15'}) downloaded.GetContentFile('title.ratings.tsv') df_ratings = pd.read_csv('title.ratings.tsv',header=None,sep='\t',dtype='unicode')#Episode datadownloaded = drive.CreateFile({'id':'14'}) downloaded.GetContentFile('title.episode.tsv') df_episode = pd.read_csv('title.episode.tsv',header=None,sep='\t',dtype='unicode')#Name Basics datadownloaded = drive.CreateFile({'id':'13'}) downloaded.GetContentFile('name.basics.tsv') df_name = pd.read_csv('name.basics.tsv',header=None,sep='\t',dtype='unicode')#Principals datadownloaded = drive.CreateFile({'id':'12'}) downloaded.GetContentFile('title.pricipals.tsv') df_principals = pd.read_csv('title.pricipals.tsv',header=None,sep='\t',dtype='unicode')#Title Basics datadownloaded = drive.CreateFile({'id':'11'}) downloaded.GetContentFile('title.basics.tsv') df_title = pd.read_csv('title.basics.tsv',header=None,sep='\t',dtype='unicode')錯誤：您的會話在使用所有可用 RAM 后崩潰。運行時日志是這樣說的：Google Collab 如何更好地處理 Ram？我所有 tsv 文件的總大小為 2,800 MB。請指教！
2 回答
人到中年有點甜
TA貢獻1895條經驗 獲得超7個贊
最簡單的方法是只在您使用數據時使用它并從內存中刪除它。這可以有力地通過使垃圾收集器釋放進行（見線程這里[https://stackoverflow.com/questions/1316767/how-can-i-explicitly-free-memory-in-python]）1
如果你想在 Colab 中擴展你的 RAM，曾經有一個黑客，你故意導致它用完 RAM，然后它會為你提供更高的 RAM 運行時間。也可以使用 Colab pro 在運行時 -> 更改運行時類型下選擇此選項。每月 10 美元，Colab pro 可能是您的不錯選擇。
我在這里看到了這個 hack ，但簡而言之，只是在 while 循環中將一些內容附加到數組中，直到 RAM 耗盡。
a = []
while 1:
a.append("1")
米琪卡哇伊
TA貢獻1998條經驗 獲得超6個贊
Google colab 通常提供 12 GB 的免費內存，但我們可以通過向 google 支付任何費用來增加它。
只需編寫三行代碼，您就可以將 Ram 從 12GB 增加到 25GB
a = [ ] while(1): a.append('1')
試試這個它可能會有所幫助。
添加回答
舉報
0/150
提交
取消