问题标签 [sink]

我是 Cygnus 和 Phoenix db 的新手。我希望 Cygnus 将数据存储在 Apache Phoenix 数据库中，因此我必须配置 Phoenix Sink 以与 Cygnus 一起使用。

我知道 Cygnus 是 Apache Flume 的扩展，所以默认情况下（理论上）任何 Flume 代理都可以使用它。我agent_phoenix.conf为 Cygnus 配置了我的 Flume 代理文件，如下所示：

并在 CentOS 命令行上使用此命令启动它：

它开始进行一些初始化，但随后我收到以下消息：

HBase和Phoenix在这台机器上安装正确，实际上HBase可以启动并且Phoenix已经用SQLline文件测试过了。你有解决这个问题的方法吗？

----编辑----我只是向前迈了一步。我在 cygnus/conf 目录中编辑了我的flume-env.sh文件，并将包含PhoenixSinkjava 类的 .jar 文件指定为 FLUME_CLASSPATH。现在启动我在上面编写的相同命令开始配置（显然很好）然后我收到此错误消息：

现在有什么问题？

-------------编辑 2--------------------

好的，我离得更近了，但是这个错误没有意义。我通过在类路径中复制正确的 phoenix JAR 解决了 jdbc 问题，然后我得到了一些依赖错误，我通过在类路径中复制其他 JAR 来解决它们。现在我得到了同样的 jdbc 旧错误。我真的无法弄清楚发生了什么：

有人可以解释一下吗？

我已经安装了 confluent_3.3.0 并启动了 zookeper、schema-registry 和 kafka broker。并从以下链接下载了 couchbase 连接器 https://github.com/couchbase/kafka-connect-couchbase

使用以下命令运行接收器连接器

运行连接器后，我开始使用 kafka-python 库发布 JSON。

问题是，连接器在没有转储所有已发布消息的情况下断开连接并出现以下错误

[2017-11-07 20:12:44,839] INFO [null][KeyValueEndpoint]：从 Channel 收到通知为不活动，正在尝试重新连接。(com.couchbase.client.core.endpoint.Endpoint:115)

感谢您的阅读

我有这个文件 test.csv。我用过 -

为了将其放入 R。我使用了 check.names，因为列标题包含括号，如果我不使用它，它们会变成我在编码时遇到问题的句点。

然后我做了这个-

我的目标是创建一个接收器文件，以便将打印输出放入其中。如果 2 列（log(I) 和数字）的值等于某个值，我想打印名称列中的值。

所以在这个例子中，代码只会将 LAMP1 和 MND1 输出到我创建的接收器文件中。

我的问题是我认为 R 没有认识到 log(I) 是标题标题，因为无论是否包含这部分，它似乎都给了我相同的结果。如果我不使用

然后该列转向log.I。反而。我该如何解决这个问题？

谢谢

我正在尝试使用sink函数保存提升的日志，如下代码：

但是我看不到“发生了什么”，因为它没有打印函数的输出和/或消息。

我的问题是我怎样才能同时检索一个.txt文件sink并查看xgb.cv正在打印的函数（在这种情况下是什么）？

谢谢！

我正在尝试将 R 脚本的错误和警告记录到外部文件中。同时我希望能够在 RStudio 的控制台中看到错误和警告（对开发和调试有用）。我正在尝试使用以下代码：

但是，当我尝试使用功能 sink() 拆分消息连接时，出现以下错误：

是否有任何解决方法或替代解决方案？

谢谢

我希望将 stderr 和 stdout 消息重定向到输出文件。这是我尝试过的：

当我运行此代码时，我仍然在我的 R 控制台中看到“使用消息”和“使用警告”，并且它没有被重定向。

有没有办法将 stdout 和 stderr 都重定向到文件？我使用这段代码将我的标准错误重定向到标准输出，但这并不是我想要的。

我使用 Apache Flink 在 HDFS 上创建了一些存档数据文件，生成的文件名具有类似 part-{parallel-task}-{count} 的模式，但我期望应该有“.gz”后缀，可以由 Apache Spark 直接加载。

我找不到任何 API 来为 Apache Flink 中 BucketingSink 生成的最终完成文件添加后缀，但只能为 InProgress、Pending 和 ValidLength 状态添加后缀。任何人都可以帮忙吗？ HDFS 连接器和Java API

我正在为 .NET Core 使用 Serilog SQL Server Sink，只是想知道是否可以将日志写入多个数据表。

要写入单个表，配置如下：

任何形式的帮助将不胜感激。

作为从 NLog 切换到 Serilog 的一个步骤，我想重定向 NLog 的标准布线底层标准调用LogManager.GetLogger(name)以桥接任何代码日志记录到 NLog 以立即转发到环境 Serilog Log.Logger- 即我只想一个简单地转发的配置消息，没有像Log4net.Appender.SerilogLog4net 那样缓冲。

任何人都可以编造或指向我正确有效地执行此操作的规范片段吗？我能想到的要求：

• 保持水平，即nlog.Warn应该相当于serilog.Warning
• Serilog 可以重新生成时间
• 在附加程序中实现消息 - 即，无需维护与“消息”相关的任何属性（LogEvent在 Serilog 术语中）
• 无缓冲
• 我不需要使用任何其他 NLog 目标（即改变/删除消息就可以了）

我正在并行运行一个大循环来进行回归。循环工作正常，一切都很好，但我突然观察到一种非常奇怪的行为。一些迭代没有达到回归本身的步骤。这是我正在尝试的一个简单片段：

我在 output_%d 日志文件中观察到 print(i) 命令已成功运行，但 cat("NG_PSKU:",i,'\n') 从未超过第 162 次迭代。

为了进一步调查，我使用更短的 NG_PSKU (102-199) 再次运行代码。令我惊讶的是，代码运行成功。我想知道这里发生了什么。以前有没有其他人遇到过类似的情况？非常感谢任何帮助。