我需要从数千个在线 JSON 中获取大约 300.000 行的最终行，等于 30MB。
作为编码的初学者，我更喜欢坚持使用 JS 来获取 $getJSON 数据，剪切它，将有趣的部分附加到我<body>的 . 但我想知道：
- 我的网络浏览器可以处理 300.000 $getJSON 查询和生成的 30~50MB 网页而不会崩溃吗？
- 是否可以使用 JS 将结果写入文件，从而不断保存脚本的作品？
我希望我的脚本运行大约 24 小时。数字是估计。
编辑：我没有服务器端知识，只有 JS。
问问题
59 次
1 回答
4
您的方法有一些不正确的地方：
- 如果您正在做的是从另一个来源获取（和处理）数据，然后将其显示给访问者，那么这种规模的处理应该在后台进程中预先单独完成。Web 浏览器不应该用作您所说的规模的数据处理器。
- 如果您尝试显示 30-50MB 的网页，您的用户将会遇到很多令人沮丧的问题 - 浏览器崩溃、缺乏响应、超时、加载时间过长等等。如果您希望任何用户使用较旧的 IE 浏览器，他们可能会放弃甚至不尝试。
我的建议是把这个任务拉出来，用你的后端基础设施来完成，把结果保存在一个数据库中，然后你的用户可以搜索、过滤和访问它。一些值得研究的选项：
克朗
Cron 将允许您重复和定期运行任务，例如每天或每小时。如果您想不断更新数据集，请使用此选项。
工人（Heroku）
如果运行 Heroku，请将其从 dyno 中取出并使用单独的 worker，以免阻塞应用程序上的任何现有流量。
于 2013-03-29T17:18:52.143 回答