问题标签 [twitter-util]

我想在 MySQL 数据库中按照一些过滤条件存储实时推文。鉴于我有一台 16 CPU 机器，我想了解哪种方法更好。由于我的情况最好使用流式 API，因此可以使用 tweet4j 库轻松构建 Java 应用程序；在这种情况下，过滤和存储可以使用多线程编程来完成。另一方面，我刚刚发现 Spark 很少有线路允许做同样的事情，但仍然是只有一个内存的瓶颈。

鉴于很难达到 twitter 速率限制并且我无法利用分布式集群，我想了解 spark 是否可以成为真正的改进。

感谢您的帮助。

来自 node.js 背景，我是 Scala 的新手，我尝试使用 Twitter 的 Future.collect 来执行一些简单的并发操作。但是我的代码显示的是顺序行为而不是并发行为。我究竟做错了什么？

这是我的代码，

这是我得到的输出，

我期望的输出是，

我专门使用 twitter 的 AsyncStream，我需要获取并发处理的结果，并将其转换为 Seq，但我设法开始工作的唯一方法是可怕的。这感觉就像它应该是一个班轮，但我对 Await 和 force 的所有尝试要么挂起要么没有处理工作。

这就是我的工作 - 这样做更惯用的方式是什么？

我正在尝试使用 twitter util-eval 库编译和执行“hello world”程序。但无法打印结果。

我的意图不仅仅是编译和执行 hello world 示例，具有依赖关系的大型 scala 文件应该编译和运行。

如何执行代码并查看结果？我无法为 util-eval 获取正确的 API 文档。使用取自maven的 util-eval_2.11-6.43.0.jar

在服务中，我有一个 main 方法，它启动 acom.twitter.finagle.ListeningServer并创建一个自定义“通道”，返回 acom.twitter.util.Future永远不会完成（除非出现错误）。两者实际上都是com.twitter.util.Awaitable实例，如果其中任何一个完成，我想关闭我的服务。

如果两者都是com.twitter.util.Futures 我可以Future.select用来选择第一个完成的未来，所以现在我将转换com.twitter.finagle.ListeningServer为com.twitter.util.Futureusing pool { Await.result(listeningServer) }。

有没有更好的方法来解决我的问题？

我希望这段代码会引发 TimeoutException，但事实并非如此。我做错了什么？

I don't get how I can specify an certain execution service from Java, like a thread pool, to execute my callback of a future. For example, I can have a chain of map operations:

How can I specify the initial execution service twitterExecutor to be used for the callbacks and how can I change the execution service for one single map callback? In the Scala standard library I can specify the implicit execution context. I don't want to create a future which is already completed but complete it later via the promise.

I have only found this question: https://groups.google.com/forum/#!topic/finaglers/ovDL2UFKoDw where the answer suggests using flatMap but I want to avoid returning a new future in every callback.

and this explanation: https://twitter.github.io/finagle/guide/Futures.html but it shows me how to create a new future from a pool which I want to avoid since I am starting with a promise.

我在我的项目中使用 twitter util futures。

我想添加日志记录以使用 MDC 通过组件跟踪请求。

我找不到为 twitter 期货添加它的好方法，因为没有运行回调的执行上下文。我找不到要参考的方法或任何库实现。

这样做的更好方法是什么？

谢谢，纳格

在我的应用程序中，我将 java.concurrent.future 转换为 Twitter Future，如下所示：

这是这样做的正确方法，还是有首选方法？

这可能是一个非常愚蠢的问题，但我试图了解在 Finatra 的 HttpClient定义中的此方法定义中使用#flatMap而不仅仅是#map背后的逻辑：

当我可以只使用#map而不是拥有类似的东西时，为什么要创建一个新的 Future ：

这是否纯粹是一种风格上的差异，在这种情况下使用 Future.exception 只是更好的风格，而抛出几乎看起来像一个副作用（实际上它不是，因为它没有退出 Future 的上下文）或者存在它背后的东西，例如执行顺序等？

Tl; dr：在 Future 中抛出与返回 Future.exception 有什么区别？