我们的系统每 10 分钟运行一次从 CS 导入的 BQ csv 文件 (~8Mb)。但是今天至少发生了 4 次错误:“未找到:Google 存储文件 ...”。我已经在 CS 上仔细检查了文件并下载它没有问题。我试图(重新)开始 BQ 导入(job_610b149c0d9041b7a3145ee245b80653),再次得到“未找到......”。所有其他进口(数百个)都很好。
我们使用 GAE (java) 在 CS 上暂存 csv 文件,然后触发导入作业 (GAE -> CS -> BQ)。一般来说,系统工作正常,但不是很可靠。所以,我几乎每天都在与差距(缺少数据)或有时重复。是否有任何其他方式(良好做法)将“恒定流”数据导入 BQ?流媒体?
一旦我们在 BQ 表中有数据,事情就变得容易多了。BigQuery 真的是很棒的产品!谢谢,莎莎