亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

NodeJS:如何從兩個文件中讀取并使用管道寫入單個輸出文件?

NodeJS:如何從兩個文件中讀取并使用管道寫入單個輸出文件?

斯蒂芬大帝 2022-11-11 15:06:23
語境我正在使用事件流模塊來幫助我讀取和寫入這些我希望返回結果文件的本地文件。長話短說,multipart/form-data我期望的 2 個輸入文件(通過 express API as 發送)的大小可以超過 200MB,其中包含一個條目列表(每行 1 個)。我想做的是以以下格式組合這些條目,<entry1>:<entry2>其中entry1第一個文件中的條目和entry2來自第二個文件。我之前以一種能夠在內存中存儲和返回輸入/輸出的方式執行此操作,但是由于我的應用程序服務器上的內存空間非常有限,我的堆內存不足。我讀到我可以使用事件流和管道逐行讀取每個文件并輸出到文件,而不是使用讀取流輸出到內存中的大字符串。問題是我似乎無法以正確的方式/時間解決問題,以便準備好將生成的輸出文件發送回調用者。到目前為止我所擁有的到目前為止,我所做的工作是我得到了我期望的正確文件輸出,但是,這似乎是一個異步問題,因為我在文件實際完成寫入/保存之前解決了承諾。請在下面查看我的代碼...const fs = require('fs');const es = require('event-stream');const uuid = require('uuid');const buildFile = async (fileOne, fileTwo) =>    await new Promise((resolve, reject) => {        try {            // Output stream            let fileID = uuid.v4();            let outStream = fs                .createWriteStream(`files/outputFile-${fileID}.txt`, {                    flags    : 'a',                    encoding : 'utf-8'                });            let fileOneRS = fs                .createReadStream(fileOne.path, {                    flags    : 'r',                    encoding : 'utf-8'                })                .pipe(es.split())                .pipe(                    es.mapSync((lineOne) => {                        fileOneRS.pause();                        let fileTwoRS = fs                            .createReadStream(fileTwo.path, {                                flags    : 'r',                                encoding : 'utf-8'                            })              作為一個新手 Javascript 開發人員,甚至是 NodeJS 的新手,我已經堅持嘗試自己解決這個問題超過 2 周了。如果有人能夠提供幫助,我將非常感謝這里的一些智慧!
查看完整描述

1 回答

?
鳳凰求蠱

TA貢獻1825條經驗 獲得超4個贊

編輯:更新代碼以符合 OP 的預期輸出。


resolve()寫入流完成后,應調用promise函數。OP 片段中提供的注釋表明 resolve 函數可能在排空時被調用fileOneRS(在 pipe() 鏈的末尾)。


而不是為第一個文件中的每一行創建一個新的讀取流,代碼應該只實例化一次讀取流。


以下示例說明了如何將此代碼流重構為僅讀取每行一次,并逐行連接文件 A 和 B 中的行:


import stream from "stream";

import util from "util";

import readline from "readline";

import fs from "fs";

import os from "os";


/** Returns a readable stream as an async iterable over text lines */

function lineIteratorFromFile( fileStream ){

  return readline.createInterface({

    input: fileStream,

    crlfDelay: Infinity

  })

}


// Use stream.pipeline to handle errors and to stream the combined output

// to a Writable stream. The promise will resolve once the data has finished

// writing to the output stream.

await util

  .promisify(stream.pipeline)(

    async function*(){

      for await ( const lineA of lineIteratorFromFile(fs.createReadStream( "./in1.txt" ))){

        for await (const lineB of lineIteratorFromFile(fs.createReadStream( "./in2.txt" ))){

          yield `${lineA}: ${lineB}${os.EOL}`

        }

      }

    },

    fs.createWriteStream( outputFile )

  );

NodeJS v13+ 的可運行示例可在下面的折疊片段中找到:

// in1.txt:

foo1

foo2


// in2.txt:

bar1

bar2


// out.txt (the file created by this script, with expected output):

foo1: bar1

foo1: bar2

foo2: bar1

foo2: bar2


// main.mjs:

import stream from "stream";

import util from "util";

import readline from "readline";

import fs from "fs";

import os from "os";


/** Returns a readable stream as an async iterable over text lines */

function lineIteratorFromFile( fileStream ){

  return readline.createInterface({

input: fileStream,

crlfDelay: Infinity

  })

}


(async ()=>{

  await util

.promisify(stream.pipeline)(

  async function*(){

    for await ( const lineA of lineIteratorFromFile(fs.createReadStream( "./in1.txt" ))){

      for await (const lineB of lineIteratorFromFile(fs.createReadStream( "./in2.txt" ))){

        yield `${lineA}: ${lineB}${os.EOL}`

      }

    }

  },

  fs.createWriteStream( "./out.txt" )

);

})()

  .catch(console.error);


查看完整回答
反對 回復 2022-11-11
  • 1 回答
  • 0 關注
  • 117 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號