現在大多數數據庫都支持一次將多條記錄插入數據庫。這比一條一條插入記錄要快得多，因為只需要一筆事務。SQL 語法與此類似：INSERT INTO tbl_name (a,b,c)
VALUES(1,2,3), (4,5,6), (7,8,9);現在我正在一個小項目上使用Python Scrapy。我使用其項目管道將抓取的數據存儲到數據庫中。然而，項目管道背后的邏輯是，將在每個項目上調用相關方法。所以它總是一次插入一個項目。我怎樣才能收集大約 100 個項目并在一次運行中插入它們？
1 回答
POPMUISE
TA貢獻1765條經驗 獲得超5個贊
您需要將管道重構為如下所示：
class DatabasePipeline(object):
def open_spider(self, spider):
#Create database connection
...
#create items list
self.items = []
def process_item(self,item,spider):
self.items.append(item)
if len(self.items)==100:
#constuct SQL query to insert multiple records
...
#execute query and clean self.items
self.items = []
return item
def close_spider(self,spider):
#insert remaining records
if self.items:
#constuct SQL query to insert multiple records
...
#execute query
#close database connection
添加回答
舉報
0/150
提交
取消