问题标签 [google-cloud-logging]

我的 Container Engine 容器日志在 Cloud Logging 中都显示得很漂亮，并按应用程序划分，但明显没有内核消息。如何将内核消息从裸机 Container Engine 节点记录到 Cloud Logging？

有没有办法将 Dataproc Spark 作业的输出发送到 Google Cloud 日志记录？如 Dataproc 文档中所述，作业驱动程序（Spark 作业的主机）的输出可在控制台中的 Dataproc->Jobs 下获得。我希望在 Cloud Logging 中也有日志的原因有两个：

1. 我想查看执行者的日志。通常主日志会说“executor lost”，没有更多细节，如果有更多关于 executor 正在做什么的信息会非常有用。
2. Cloud Logging 具有出色的过滤和搜索功能

目前，Cloud Logging 中显示的唯一 Dataproc 输出是来自 yarn-yarn-nodemanager-* 和 container_*.stderr 的日志项。我的应用程序代码的输出显示在 Dataproc->Jobs 中，但没有显示在 Cloud Logging 中，而且它只是 Spark 主服务器的输出，而不是执行程序的输出。

我正在使用 Cloud Dataproc 运行 PySpark 作业，并希望使用loggingPython 模块记录信息。目标是将这些日志推送到 Cloud Logging。

从这个问题中，我了解到我可以通过在 fluentd 配置中添加一个日志文件来实现这一点，该配置位于/etc/google-fluentd/google-fluentd.conf.

但是，当我查看 中的日志文件时/var/log，我找不到包含我的日志的文件。我试过使用默认的 python 记录器和 'py4j' 记录器。

谁能阐明我应该使用哪个记录器，以及应该将哪个文件添加到流利的配置中？

谢谢

我一直在查看 Cloud Platform Console 中的新BigQuery 日志记录功能，但记录的内容似乎有点不一致。

我可以看到一些creates,deletes和. 但是，当我通过 Web UI 进行一些查询和复制作业时，它们并没有显示出来。insertsqueries

1. 是否也应记录 BigQuery 网页界面中的活动？
   
2. 它是否与请求的来源不同，例如。控制台或 API 访问？

我有一个在 kubernetes 容器中运行的 python 服务并将日志写入标准输出。我可以在 Cloud Logging 控制台中看到日志，但它们不是结构化的，这意味着：1. 我无法过滤日志级别 2. 多行的日志记录被解释为多条日志记录 3. 日期未解析等。

我该如何解决这个问题？我可以以某种方式配置flunetd守护程序吗？还是我应该以特定格式编写？

谢谢

I was trying to optimize a BigQuery query that I use to search through my AppEngine application logs (exported to BigQuery automatically through Google Cloud Logging) but I got an error that I don't understand.

results in

This error does not make sense to me because when I try to execute just the sub-query that also use the protoPayload.requestId field, it works fine.

Just as a side note, this SO answers better what I am trying to achieve but I am still curious what cause the error in my query.

基于 LogViewer文档，我希望能够在表达式中使用 httpRequest FIELDS 来过滤日志消息。

在高级过滤器中，我尝试使用

但一直没有奏效。关于我可能做错了什么或是否有任何其他方法可以做到这一点的任何建议。

我正在使用控制台（https://console.developers.google.com/logs）中的记录器。请注意，我已将上述行附加到“转换为高级过滤器”显示如下的其他行。

谢谢。

谷歌的高级云日志过滤器看起来非常强大，但使用起来同样复杂。如何制作一个日志查询来查找所有持续时间超过 3 秒的 HTTP 请求，其中还包含文本foo bar？

我已经通读了文档，但仍有一些不足之处（它似乎是针对语言作者，而不是系统用户）。我知道有一个 Duration 字段，但有人有如何使用它的例子吗？

我喜欢我可以使用 Logs API（在此处描述：https ://cloud.google.com/appengine/docs/java/logs/ ）以编程方式访问和显示我认为合适的应用程序和请求日志——这很棒。

现在我在 AppEngine 上使用托管虚拟机，您可以在管理控制台日志查看器上看到有大量其他日志 - 包括在我的情况下我发现可以包含在查看器中的自定义日志（在此处描述：https ://cloud.google.com/appengine/docs/managed-vms/custom-runtimes#logging）。

我的问题是：有什么方法可以使用 Logs API（或其他已构建的管道？）来访问这些日志？我的托管 VM 模块包含几个组件，它们可以生成我想要查看的日志：

1. 应用程序日志——我可以得到这些！这里没问题。
2. 我在 _ah/start 中启动的后台进程创建的自定义日志文件（如屏幕截图中的“my_custom_1.log”）
3. 我的后台进程中的 STDERR 和 STDOUT
4. 相关的托管 VM 日志（例如，当实例因健康状况不佳而重新启动时......其他系统事件，如正常重新启动？）

基本上我想要实例级别的“全貌” 。有人尝试以这种方式成功驯服托管虚拟机吗？我不期待推出自己的解决方案。我什至不知道从哪里开始捕获 STDERR 和 STDOUT 的问题。任何帮助表示赞赏。

我想对来自 Cloud Dataflow 的工作人员日志进行一些二次处理。有没有简单的方法可以做到这一点？