Top 10 Solutions for Large File Uploads in Node.js

在 Node.js 中处理大文件上传，如果没有合适的工具和策略，很快就会变得非常棘手。无论你是在构建一个视频共享平台、企业文档管理系统，还是一个简单的文件传输服务时，大文件上传可能会耗尽你的服务器内存，并堵塞你的网络，用户会因为上传速度慢或上传失败而感到不耐烦。

但是别担心——Node.js 拥有一个丰富的工具和技术生态，可以帮助你高效、安全地上传大型文件。

开发人员在处理大型文件上传时常犯的错误之一是试图一次性将整个文件加载到内存中再进行保存。这会很快导致内存溢出错误或服务器宕机，更符合口语表达习惯。

Node.js 处理流非常得心应手，因此请好好利用这一点。

解决方案：

利用 Node.js 中的流（fs.createWriteStream）来分块处理接收到的数据。

const fs = require('fs');  
const http = require('http');  

http.createServer((req, res) => {  
  const filePath = './uploads/largefile';  
  const fileStream = fs.createWriteStream(filePath);  
  req.pipe(fileStream);  

  req.on('end', () => {  
    res.end('上传成功');  
  });  
  // 将请求数据写入文件流，当请求结束时，响应上传成功
}).listen(3000);

• 文件一到就开始处理。
• 服务器内存使用保持在较低水平。
• 它支持大文件且不会崩溃。

2. 使用 Multer 处理 multipart/form-data 文件

如果你用的是 multipart/form-data（通常来自 HTML 表单），Multer 就是最好的选择。

Multer 解析传入的表单数据内容，并将文件直接保存至磁盘或内存。

const multer = require('multer');  
const express = require('express');  
const app = express();  

// 创建一个multer实例，指定上传文件的保存路径
const upload = multer({ dest: 'uploads/' });  

app.post('/upload', upload.single('file'), (req, res) => {  
  res.send('文件上传成功了');  
});

不要使用内存存储引擎（storage: multer.memoryStorage()），特别是对于大文件来说，以防止内存耗尽。

分块功能让用户可以将大文件分拆成小部分上传。它降低了上传失败的风险，并支持断点续接上传。

解决方案：

可以使用像 Tus、Resumable.js 或自定义分块处理这样的库来实现这个功能。

• 将文件切成小块。
• 使用 AJAX 或 WebSocket 发送每个小块。
• 在服务器端把这些小块重新组装起来。

使用一个临时文件夹来存储传入的数据块（chunks），一旦接收完所有数据块就将它们合并起来。

    const fs = require('fs');  
    const path = require('path');  

    function mergeChunks(uploadId, totalChunks, outputPath) {  
      const writeStream = fs.createWriteStream(outputPath);  
      for (let i = 0; i < totalChunks; i++) {  
        const chunkPath = path.join(__dirname, 'chunks', `${uploadId}-${i}`);  
        const data = fs.readFileSync(chunkPath);  
        writeStream.write(data);  
        fs.unlinkSync(chunkPath); // 清理文件  
      }  
      writeStream.end();  
    }

用户不喜欢看不见的上传过程。让我们给他们一个可视化的进度条吧。

通过请求流中的 on('data') 事件来跟踪上传的进度情况。

    app.post('/upload', (req, res) => {  
      let uploadedBytes = 0;  
      const totalBytes = parseInt(req.headers['content-length'], 10);  

      req.on('data', chunk => {  
        uploadedBytes += chunk.length;  
        const progress = (uploadedBytes / totalBytes) * 100;  
        console.log(`上传进度: ${progress.toFixed(2)}%`);  
      });  

      // 数据写入文件的具体实现省略了  
    });

或者使用類似 busboy 的庫，它提供了進度監視的功能。

把文件存储搬到云端是很明智的，特别是当你需要处理海量数据的时候。

在使用 AWS S3 的时候，可以使用 aws-sdk 或 @aws-sdk/client-s3，这些是在 Node.js 环境中使用的。

const { S3Client, PutObjectCommand } = require('@aws-sdk/client-s3');  
const s3 = new S3Client({ region: 'us-east-1' });  

// 上传文件到S3的POST请求处理  
app.post('/upload', upload.single('file'), async (req, res) => {  
  const params = {  
    Bucket: '你的桶名',  
    Key: req.file.originalname,  
    Body: fs.createReadStream(req.file.path),  
  };  

  await s3.send(new PutObjectCommand(params));  
  res.send('文件已上传成功');  
});

• 无需担心本地存储。
• 既可扩展又安全。
• 支持与CDN及生命周期策略的集成。

让用户直接通过预签名的URL（如S3）上传到云存储，这样文件传输就绕过了你的服务器。

• 后端生成一个短期签名URL。
• 客户端通过PUT方法上传文件。

    const { S3Client, PutObjectCommand, getSignedUrl } = require('@aws-sdk/s3-request-presigner');  // S3Client 对象

    async function generateUploadUrl(filename) {  // 生成上传URL的异步函数
      const command = new PutObjectCommand({  // PutObjectCommand 对象，用于指定上传文件的桶和键
        Bucket: 'your-bucket-name',  // 存储桶名称
        Key: filename,  // 文件名
      });  
      return await getSignedUrl(s3, command, { expiresIn: 60 });  // 生成签名的URL，过期时间为60秒
    }

• 手机应用程序。
• 大量上传数据。
• 减少服务器CPU的负载。

不要允许无限制上传——设置文件大小限制并过滤文件类型，以防止滥用或意外资源消耗。

要使用 Multer，

    const upload = multer({  
      dest: 'uploads/',  
      limits: { fileSize: 100 * 1024 * 1024 }, // 文件大小限制为100MB  
      fileFilter: (req, file, cb) => {  
        if (file.mimetype !== 'video/mp4') {  
          return cb(new Error('仅限上传MP4文件!'), false);  
        }  
        cb(null, true);  
      }  
    });

奖励：

限制和认证/授权的结合可以防止垃圾信息和滥用。

大型文件有时需要在上传前进行压缩或重复数据删除，以避免不必要的存储。

解决方案：

• 在客户端压缩文件（例如，使用 zip 或 gzip）。
• 使用哈希值（如 SHA256）来检测重复。

    const crypto = require('crypto');  
    const hash = crypto.createHash('sha256');  

    req.on('data', chunk => {  
      hash.update(chunk);  
    });  

    req.on('end', () => {  
      const fileHash = hash.digest('hex');  
      // 检查数据库中是否存在此哈希值，然后再保存  
    });

用例示例：

• 文件管理。
• 备份方案。
• 媒体存放。

避免在上传过程中进行大量计算任务（例如视频转码、图像处理）。

• 将处理任务分配给工作线程 (worker_threads)。
• 使用任务队列，例如 BullMQ，RabbitMQ 或 Kafka。

    const { Worker } = require('worker_threads'); // 从worker_threads模块中引入Worker。

    function runWorker(filePath) {  
      return new Promise((resolve, reject) => {  
        const worker = new Worker('./workers/processFile.js', {  
          workerData: { filePath }  
        });  
        worker.on('message', resolve); // 当接收到消息时，解决Promise。
        worker.on('error', reject); // 当发生错误时，拒绝Promise。
      });  
    }
``

# 不俗之处：

* 保持上传速度快捷。
* 自动处理重试和失败。
* 具有独立扩展性。

# 10\. 通过 CDN 或静态文件路径分发文件

一旦上传完毕，大文件（视频、图片和文档）应该通过CDN或专用文件服务器来提供服务——而不是主应用服务器。

# 解决办法：

* 将文件存储在 `/public` 文件夹中，并使用 `express.static()`。
* 或者，使用 CDN（例如 Cloudflare、AWS CloudFront 这样的）进行快速加载。
也可以使用 CDN（例如 Cloudflare、AWS CloudFront 这样的）进行快速加载。

app.use('/files', express.static('uploads'));

解释：这一行代码的作用是设置服务器在访问 '/files' 路径时，提供 uploads 文件夹中的静态文件。

# CDN小提示：

使用带有版本号的URL和设置恰当的缓存头来提升性能。

# 最后的思考

在Node.js中处理大文件上传并不是一个一刀切的问题。理想的方案取决于用户、存储策略、预算及规模。这里有一些需要记住的黄金法则：

* **流式传输所有内容。**
* **避免内存密集型操作。**
* **将文件推送到边缘（例如CDN或云）。**
* **给用户提供反馈（进度和错误）。**
* **确保上传安全。**

**你也可能喜欢:**

1. [**Node.js 性能剖析的 7 个关键提示**](https://medium.com/7-essential-tips-for-profiling-node-js-performance-4422fda7406e)
2. [**为什么 85% 的开发者错误使用 Express.js**](https://medium.com/why-85-of-developers-use-express-js-wrongly-8c9c6f380fce)
3. [**Node.js 内存垃圾回收的 8 个常见误区**](https://javascript.plainenglish.io/8-myths-about-node-js-garbage-collection-debunked-99753ef8c81c)
4. [**Node.js 中常见的 10 个内存管理不当错误**](https://medium.com/10-common-memory-management-mistakes-in-node-js-1d26af191873)
5. [**Node.js 中促进应用增长的 10 个必要模式**](https://medium.com/10-must-know-node-js-patterns-for-application-growth-a1b5fac9d047)
6. [**一步一步的教程：TensorFlow.js 和 Node.js 的集成**](https://medium.com/step-by-step-tutorial-tensorflow-js-and-node-js-integration-0ec5c0d6c1d7)
7. [**使用 Express.js 进行领域驱动设计 (DDD) 的 6 个常见错误**](https://medium.com/6-common-mistakes-in-domain-driven-design-ddd-with-express-js-26560ec64661)
8. [**如何通过依赖注入提升我的 Node.js 应用**](https://medium.com/how-can-i-improve-my-node-js-app-with-dependency-injection-ff2e31c1f89b)
9. [**Node.js 能够应对数百万用户吗？**](https://blog.arunangshudas.com/can-node-js-handle-millions-of-users/)
10. [**Node.js 提升后端性能的 10 种方法**](https://medium.com/10-ways-node-js-enhances-backend-performance-188e899e4d08)

**更多相关博客点击这里**[**这里**](https://blog.arunangshudas.com/)

在评论区分享你的经历，让我们一起讨论如何解决这些问题吧！

**关注我的LinkedIn账号**