iis - 使用 bigquery 分析 iis 日志

Question

使用 bigquery加载和分析 IIS 日志（以扩展日志文件格式）的任何首选方式/示例？我们还需要对其进行自动分区。我们可以定期获取日志文件

我们想要分析特定功能的使用情况，该功能可以通过特定 URL 模式和访问者通过网站获取的最流行流量的转换漏斗来识别，以确定他们从哪里进入和离开。可以通过 cookie 中的唯一 ID（存储在日志中）来识别访问者，并且可以将页面与引用者链接（也存储在日志中）。

提前致谢

Answer 1

将 CSV 格式的文件加载到 BigQuery 中很容易。支持CSV 和 JSON 格式的源数据。

我不是使用 IIS 的专家，但将平面日志数据加载到 BigQuery 的最快方法是从 CSV 开始。IIS 日志格式使用起来非常简单，但您可能需要保存一个步骤并将其导出为 CSV。快速搜索显示，很多人使用LogParser（注意：我自己从未使用过）将 IIS 日志转换为 CSV。也许试试这个或类似的工具。

至于“自动分区”您的 BigQuery 数据集表 - BigQuery 不会自动执行此操作，但为您导出的每批 IIS 日志创建一个新表相当容易。

根据您分析的数据量，您应该每天或每小时创建一个新的 BigQuery 表。

使用BigQuery 命令行工具时，在命令行上编写脚本非常容易。创建一个新的 BigQuery 加载作业，并根据您拥有的每个日志数据时间片使用新的表名。

换句话说，您的 BigQuery 表应如下所示：

mydataset.logs_2012_10_29
mydataset.logs_2012_10_30
mydataset.logs_2012_10_31
etc...

有关更多信息，请务必通读 BigQuery 文档以导入数据。