问题标签 [snowflake-pipe]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
41 问题
0
投票
0
回答
57
浏览
snowflake-cloud-data-platform - 提高雪管速度以处理每个文件 1 条记录
我有一个雪管。我无法控制传入的文件。每个文件都包含一个相对较小的 json 记录。
当我由于错误重新启动管道时，该阶段大约有 38000 个文件。
我目前每分钟只处理 6-8 个文件。编辑：更正，我在 55 分钟内处理了大约 750 个文件。还是很慢。
如何在不更改每个文件约束的一条记录的情况下加快速度？