问题标签 [snowplow]

我正在按照https://github.com/snowplow/snowplow-scala-analytics-sdk上的指南使用 Spark 解析扫雪机的事件。

我的代码看起来像

我的 build.sbt 是这样的

当我尝试运行 JAR 时，我得到以下运行时异常。

知道我错过了什么吗？

最近尝试将扫雪机 r65 升级到 r85 似乎一切正常，但扫雪机-弹性同步正在引发 bwlow 错误。

[pool-1-thread-1] 警告 com.snowplowanalytics.snowplow.storage.kinesis.elasticsearch.SnowplowElasticsearchTransformer - 预期 131 个字段，收到 1 个字段。这可能是由于使用了过时版本的 Snowplow Kinesis Enrich 造成的。

但我所有的罐子都是最新的。谁能帮我找出问题。提前谢谢。

我正在我的本地机器（ubuntu）中配置扫雪机，我已经安装并配置了 scala 流收集器。下面的配置文件（collector.conf）

我在我的网页中添加了下面的 javascript 跟踪器脚本

我收到了跟踪器以加密格式对收集器的响应。CwBkAAAACzE3Mi4xNi4yLjI2CgDIAAABXWUMPDwLANIAAAAFVVRGLTgLANwAAAAQc3NjLTAuOS4wLXN0ZG91dAsBLAAAAHNNb3ppbGxhLzUuMCAoV2luZG93cyBOVCAxMC4wOyBXaW42NDsgeDY0KSBBcHBsZVdlYktpdC81MzcuMzYgKEtIVE1MLCBsaWtlIEdlY2tvKSBDaHJvbWUvNTkuMC4zMDcxLjExNSBTYWZhcmkvNTM3LjM2CwE2AAAAOGh0dHA6Ly9sb2NhbGhvc3Q6ODA4MC9Tbm93cGxvdy9TYW1wbGVFeGFtcGxlVHJhY2tlci5odG1sCwFAAAAAAi9pCwFKAAAB43N0bT0xNTAwNjM4ODU4MjYzJmU9cHYmdXJsPWh0dHAlM0ElMkYlMkZsb2NhbGhvc3QlM0E4MDgwJTJGU25vd3Bsb3clMkZTYW1wbGVFeGFtcGxlVHJhY2tlci5odG1sJnBhZ2U9Rml4ZWQlMjBXaWR0aCUyMDIlMjBCbHVlJnR2PWpzLTIuOC4wJnRuYT1jZiZhaWQ9MSZwPXdlYiZ0ej1Bc2lhJTJGS29sa2F0YSZsYW5nPWVuLVVTJmNzPVVURi04JmZfcGRmPTEmZl9xdD0wJmZfcmVhbHA9MCZmX3dtYT0wJmZfZGlyPTAmZl9mbGE9MCZmX2phdmE9MCZmX2dlYXJzPTAmZl9hZz0wJnJlcz0xMzY2eDc2OCZjZD0yNCZjb29raWU9MSZlaWQ9NjQ1MGVmOTMtYmFiYy00YzYxLTgwMmQtYTkwMmQxNDFjODhiJmR0bT0xNTAwNjM4ODU4MjYxJnZwPTE1MTd4NzM1JmRzPTE0OTl4NzgzJnZpZD0xJnNpZD0zZTM3ZmYyNy1mZDI1LTRkYTgtYmY1ZC02MWRmNTkxYTUyNGYmZHVpZD01MjBiOTM4OS0zNWExLTQzNGUtOWVkYy1hOGVkMzEwZjQwNTImZnA9MzI4MDUzODQxMQ8BXgsAAAAIAAAAF0hvc3Q6IDE3Mi4xNi4wLjE1Nzo4MDgwAAAAFkNvbm5lY3Rpb246IGtlZXAtYWxpdmUAAAB/MTdjZjZhZjQ1NmJlYmY7IF9fcm9pdD0wOyBfX3JvaU5vbkRpcmVjdD10cnVlOyBsaXZlYWdlbnRfb3JlZj1odHRwOi8vMTcyLjE2LjAuMTU3OjgwODAveHJmMTAwLzsgbGl2ZWFnZW50X3B0aWQ9MzFjZTRkMWEtNWQzYi00Mjg0LWI1ZDEtNTYyMWViYjBlZmFjOyBsaXZlYWdlbnRfdmM9MzsgX19hdHV2Yz0zJTdDMjAlMkMyJTdDMjE7IF9faHN0Yz03NTM3MTAuOGM1NTU1NzY0ODNmMzc1MDVmNjBjYjYwODZjYjc2OWEuMTQ5NTc3NjY0Nzk0NC4xNDk1Nzc2NjQ3OTQ0LjE0OTU3NzY2NDc5NDQuMTsgaHVic3BvdHV0az04YzU1NTU3NjQ4M2YzNzUwNWY2MGNiNjA4NmNiNzY5YTsgc2YtdHJja25nY2tpZT04YWMxMDliMi05YTMzLTQxMDgtODk3ZC0xNDRmYmVkNjEyMjI7IF9fZGlzdGlsbGVyeT0zODI1YTA4X2UyZjZiNzQ0LTBkNTktNDljNy1hN2FkLTA4NDk5YWIxNzhiMy1hY2Q4OThjZGItNzE0NDk3NGRkMmRhLTYyZmY7IG11eERhdGE9bXV4X3ZpZXdlcl9pZD05NzQ5MTFjMS01ZTJiLTQ1OTYtOTE0Ny05MWU2MTVjZjQ1YjAmbXNuPTAuNDY3MzczMzUyNTYzODEyNCZzaWQ9NjlhY2VkYzAtNjQ5NC00NmM4LWFmN2UtMzdhMGVkOGRjMzRmJnNzdD0xNDk1Nzc5NTA2MDg3JnNleD0xNDk1NzgxMDA2NzczOyBfX3V0bWE9MTU0NTI5NDAwLjE2MzUxNzE5ODEuMTQ5NTE5MjEwNy4xNDk1NjIwNjQ2LjE0OTYxMjY2NzMuNTsgX191dG16PTE1NDUyOTQwMC4xNDk1NDYxMTgzLjEuMS51dG1jc3I9KGRpcmVjdCl8dXRtY2NuPShkaXJlY3QpfHV0bWNtZD0obm9uZSk7IG9nX3Nlc3Npb25faWQ9NTFkMzIwYmM4YWQ3ODMwNjI5ZDMxN2I4ZTllZGQ1NmIuMTQ0MTMzLjE0OTY2NjA0Mzc7IEFNQ1ZfRkM4MDQwM0Q1M0MzRUQ2QzBBNDkwRDRDJTQwQWRvYmVPcmc9MTA5OTQzODM0OCU3Q01DSURUUyU3QzE3MzMyJTdDTUNNSUQlN0MyMDE3NDQ2NTUzMTQyNzMzMTMzNDAwMDcwNDAwMTY2NDgwNjMyNCU3Q01DQUFNTEgtMTQ5ODAyNjQ2NSU3QzMlN0NNQ0FBTUItMTQ5ODA1NDE3MCU3Q05SWDM4V08wbjVCSDhUaC1ucUFHX0ElN0NNQ09QVE9VVC0xNDk3NDU2NTcwcyU3Q05PTkUlN0NNQ0FJRCU3Q05PTkUlN0NNQ0NJREglN0MxOTU1NjYyOTQwJTdDTUNTWU5DU09QJTdDNDExLTE3MzM5JTdDdlZlcnNpb24lN0MyLjEuMDsgX3Nkc2F0X1VzZXIgSWRlbnRpZmljYXRpb246IFRyYWNrIENvZGU9aHR0cHM6Ly93d3cuZ3JhaW5nZXIuY29tL3NlYXJjaD9zZWFyY2hCYXI9dHJ1ZSZzZWFyY2hRdWVyeT1hYmNkOyBSRVNfVFJBQ0tJTkdJRD0zOTQ3MjM1NzkwNjY2NTg7IEFNQ1ZfOTk1OTFDOEI1MzMwNkI1=

我已经安装并配置了流丰富下面是我的配置文件（enrich.conf）

我正在使用以下命令运行丰富。./snowplow-stream-collector-0.9.0 --config collector.conf | /home/hadoop/snowplow/3-enrich/stream-enrich/target/scala-2.10/snowplow-stream-enrich-0.10.0 --config /home/hadoop/snowplow/3-enrich/stream-enrich/target/ scala-2.10/enrich.conf --resolver 文件：/home/hadoop/snowplow/3-enrich/config/iglu_resolver.json --enrichments 文件：/home/hadoop/snowplow/3-enrich/config/enrichments/ >> stream_enrich_log_file.txt 2>&1

但我得到以下错误

我从 2 天开始就被击中了，请帮助我摆脱这个错误。

我正在尝试使用Maxmind 扫雪机库来提取数据框中每个 IP 上的地理数据。

我们正在使用 Spark SQL（spark 版本 2.1.0），我在以下类中创建了一个 UDF：

目的是在 UDF 外部创建指向文件 (ipLookups) 的指针并在内部使用它，因此不要在每一行上打开文件。这会出现任务未序列化的错误，并且当我们在 UDF 中使用 addFiles 时，会出现打开文件过多的错误（使用大型数据集时，在小型数据集上它确实有效）。

这个线程展示了如何使用 RDD 来解决问题，但我们想使用 Spark SQL。在 spark 序列化中使用 maxmind geoip

有什么想法吗？谢谢

我正在做一个点击跟踪项目，为此我正在使用Snowplow（开源）。我正在使用 Scala 扫雪机收集器来收集数据并将其路由到 Amazon Kinesis。但是，当我使用此配置启动它时：

它给出了一个错误：

我正确指定了所有参数、运动流名称、AWS 区域等，但无法连接到我的流。我可能做错了什么？

我试图开发一个 Snowplow 点击跟踪的工作示例。我必须设置丰富过程来丰富 Kinesis 流上的原始数据。但是，当我运行 JAR 文件时，我收到了这个错误：

DynamoDB 是丰富过程的必要条件吗？

我amp-analytics在 AMP 页面中使用该组件来跟踪页面浏览量。我的请求源（将数据发送到的端点）包括一个正斜杠，如下所示：

request.source.com/endpoint

AMP 不喜欢这样并给出以下错误：

请注意，它将正斜杠 URL 编码为%2F. 我还尝试在脚本中对其进行编码。这没什么区别。

另请注意，当我从请求源中删除正斜杠（即仅使用request.source.com）时，它可以正常工作。（但产品要求端点包含该正斜杠）。

关于如何实现这一目标的任何想法？这是我的 AMP 代码：

对于上下文： 我正在为扫雪机设置一个 PubSub 发射器。（对于其他读者，PubSub 是 Google Cloud Platforms 上的一个简单队列，它接收作为输入的数组消息）。

以上是无关紧要的，除了我必须创建一个自定义的 Emitter 类来实现这个目标，因为 Google Cloud PubSub 有一些与扫雪机提供的典型的 http 请求/套接字/其他连接器不同的连接器。

实际问题：

我想为我发送的每个事件设置一个特定的模式。您如何将架构与每个有效负载相关联？

PHP Tracker SyncEmitter（提供的最标准的扫雪机发射器）不允许对模式进行任何自定义设置（如下所示）

它被硬编码到跟踪的每个事件中。

于是我调查了一下。并进一步阅读扫雪机跟踪器。我仍然感到困惑，我知道我可以扩展 Payload 类并将我自己的模式强制作为变量，但为什么现在不是这样呢？我问是因为我假设开源程序员做对了，但我没有正确理解它。

你在哪里找到/制作/使用命令：

由 snowplow-bigquery-loader 文档给出。

我正在尝试设置扫雪机跟踪器。我面临以下问题

1.健康检查测试不起作用（在scala流收集器-运行步骤中）

错误 - 连接被拒绝，404 错误

2.设置跟踪器下面是GitHub中提供的扫雪机设置代码其中收集器URI是什么，有scala流收集器的示例，示例仅适用于cloudfront。