0

我在没有负载均衡器的 Amazon AWS 服务器上运行此代码。这是我设置的简单服务器。我正在尝试运行用nodejs编写的爬取数据的代码。目前，当我上传大量数据进行爬网时，它显示如下所示的错误：

Request Method: POST
Status Code: 413 Payload Too Large

在我在 StackOverflow 上阅读了许多建议之后，我添加client_max_body_size 500M;了 http、server、location 并重新启动了服务器，但它对它没有任何影响。

这是 nginx.conf 文件：

# For more information on configuration, see:
#   * Official English Documentation: http://nginx.org/en/docs/
#   * Official Russian Documentation: http://nginx.org/ru/docs/

user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;

# Load dynamic modules. See /usr/share/doc/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;

events {
    worker_connections 1024;
}

http {
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         on;
    keepalive_timeout   65;
    types_hash_max_size 4096;
    client_max_body_size 500M;

    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;

    # Load modular configuration files from the /etc/nginx/conf.d directory.
    # See http://nginx.org/en/docs/ngx_core_module.html#include
    # for more information.
    include /etc/nginx/conf.d/*.conf;

    server {
        listen       80;
        listen       [::]:80;
        server_name  example.com;
        root         /usr/share/nginx/html/crawler;
        client_max_body_size 500M;

        # Load configuration files for the default server block.
        include /etc/nginx/default.d/*.conf;

        location / {
            #try_files $uri /index.html;
            proxy_pass http://127.0.0.1:4200/;
            client_max_body_size 500M;
        }

        error_page 404 /404.html;
            location = /40x.html {
        }

        error_page 500 502 503 504 /50x.html;
            location = /50x.html {
        }
    }

我哪里错了？

4

1 回答 1

0

我建议您考虑以下几点：

  1. 您的 POST 请求的大小是多少？它可能大于 500MB，因此您可以进一步提高限制，从技术上讲，您只需将其放在服务器上（即使将帖子数据分块也会比提高限制更好）

  2. 你用的是快递吗？也许你对 Express 的请求大小设置了一些限制。

亲切的问候

于 2020-12-14T18:08:54.337 回答