mysql - 将日志插入 BigQuery 表的 Bash 脚本

Question

我使用 Matillion 作为我的 etl 工具，我试图公开包/作业的日志文件并将它们转储到 BigQuery 表中。我希望使用 Bash 脚本组件来帮助我完成这项工作。

因此，使用以下内容实现我自己的登录作业

echo “$(date) Starting” >> /tmp/logfile.log

我想把它插入我的表 ${tablename}

谢谢

Answer 1

我认为 Matillion 中的 BigQuery 组件可能会对您有所帮助。虽然在您可以在 Matillion 和 GCP 之间进行握手之前涉及一些配置（我假设您使用 Matillion 来处理雪花或 Redshift）这是配置部分

Answer 2

您可以在 Bash 脚本中将 tmp 文件复制/移动到 GCS，并在作业结束时使用 GCS Load。