TA貢獻1836條經驗 獲得超4個贊
按一千萬行的數據來計算，假設你對PHP最熟悉，開發速度最快，假設你要寫入到MySQL中。用shell將一千萬行文件切分成100個文件,這樣每個文件有10萬行,具體做法可以mansplit。寫php腳本,腳本內容是讀一個文件,然后輸出有效的數據。注意數據格式，嚴格按照表中字段的順序來寫，字段之間用半角分號隔開，行之間用\n隔開。具體參數可配置，參見MySQL的loaddata命令參數。注意是phpcli方式運行的，不要拿Apache或者其他webserver下面跑這個東西。如果按行讀不知道怎么搞可以直接用php的file()函數，生成的sql語句通過error_log($sql,3,"/path/to/dataa")函數寫入到文件中。同時可以echo一些調試信息，以備后續檢查。寫shell腳本調用php處理日志.腳本可以類似來寫/path/to/php/bin/php-fgenMySQLdata.phpsource=logaout=dataa>/errora.log&/path/to/php/bin/php-fgenMySQLdata.phpsource=logbout=datab>/errorb.log&/path/to/php/bin/php-fgenMySQLdata.phpsource=logcout=datac>/errorc.log&....重復一百行，機器配置低可以分批寫，每個寫10行也行。這個腳本內容很有規律吧，本身也可以用php來生成。時間又省了。在機器上執行這個shell腳本，實際上就啟動多個PHP進程來生成數據。配置夠牛的話，就等于你啟動了100個PHP進程來處理數據。速度又快了。繼續寫shell腳本，內容是打開MySQL用loaddata來載入數據。mysql-h127.0.0.1-uUser-ppwd-P3306-Ddbname-e'loaddatainfile"/path/to/dataa"intotableTableName(Field1,Field1,Field1);'其中的field1...要跟生成數據的順序對應，這個命令可以直接執行，也可以放到shell里面重復寫N行,然后執行shell腳本。PS：注意編碼
舉報