问题标签 [near-real-time]

我无法决定是否将我的应用程序分类为“实时”或“接近实时”，或者甚至是其他的。

该软件在从源生成数据时立即接收数据，然后根据某些规则，在满足某些条件时发出警报。它采用每 30 秒检查最后 30 秒数据的方法，以查看是否满足规则的条件。

那是实时的吗？实时与近实时的定义阈值是什么？

编辑

我认为这是在 web 上为业务定义实时的副本。

请确定上述线程是否不足以回答您的问题。

我可能正在做一个基于 iPhone 的应用程序来进行近乎实时的声音处理（过滤等）。我想知道最好的开始方式。我想创建一个用于录制和处理声音的音频提示，如此处所述吗？

编辑：

我应该清楚。一般来说，我不是在问如何进行信号处理。我知道其中一些，其余的将由我团队的专家处理。我问iphone上声音数据的“低级”接口是什么。

编辑2：

我的 iphone 开发被推迟了一两个星期，所以我现在无法使用开发工具包。一旦我可以访问该工具包，我将标记一个答案或另一个正确答案。

不久前，我在一家德国公司的网站上看到了一系列有趣的视频演示。他们处理在播放时修改视频流，这种技术的准确性和流畅性给我留下了愉快的印象。在所有这些演示文稿中，我认为其中一个在动态播放视频中的文本混合方面非常吸引人。它允许您在播放视频时在文本框中键入字符串，并以逼真的准确性嵌入您在视频中编写的文本的转换变体。我的问题是，如果您碰巧知道此类功能需要哪种算法，我如何以编程方式将实时文本和图像嵌入视频流中？是否有任何研究论文或图书馆我应该查看详细信息？

PS。不要因为视频的内容而抨击我，这是我感兴趣的编程技术，视频是我能找到的最好的例子。

考虑以下假设：

1. 我有 Java 5.0 Web 应用程序，我正在考虑使用 Lucene 3.0 进行全文搜索
2. 会有超过 1000K 的 Lucene 文档，每个文档有 100 个单词（平均）
3. 新文档必须在创建后立即可搜索（实时搜索）
4. Lucene 文档经常更新名为 quality 的整数字段

在哪里可以找到 Lucene 3.0 近实时搜索的代码示例（简单但尽可能完整）？

是否可以获得按可能经常更新的文档字段（质量）之一排序的查询结果（对于已索引的文档）？文档字段的这种更新将不得不触发 Lucene 索引重建？这种重建的表现如何？如何有效地完成它 - 我需要一些完整解决方案的示例/文档。

但是，如果在这种情况下不一定需要重建索引 - 如何有效地对搜索结果进行排序？可能有查询返回大量文档（>50K），因此我认为从 Lucene 获取未排序的文档，然后按质量字段对它们进行排序，最后将排序列表划分为页面进行分页是效率低下的。

Lucene 3.0 是我在 Java 中的最佳选择还是应该考虑其他一些框架/解决方案？也许是 SQL Server 本身提供的全文搜索（我使用的是 PostgreSQL 8.3）？

我想制作一个带有可变图钉的谷歌地图叠加层。将其可视化的一种简单方法是考虑近乎实时的覆盖，其中引脚不断改变位置。

但是，我似乎想不出使用ItemizedOverlay的安全方法。问题似乎是对填充的调用 - 如果某些地图线程调用了 size()，然后我的数据发生了变化，那么地图调用访问 getItem() 时的结果可能是 IndexOutOfBoundsException。

谁能想到比重载 populate 并将 super.populate 包装在同步块中更好的解决方案？

也许我可以使用普通的覆盖获得更好的运气？Itemized 似乎存在为您管理数据，也许我在使用它时犯了一个根本错误？

感谢您的帮助，我的大脑正在受伤！

哈米

背景：

我有一个针对 OLTP 进行了高度优化的 PostgreSQL (v8.3) 数据库。

我需要在半实时的基础上从中提取数据（有人一定会问半实时是什么意思，答案尽可能频繁，但我会务实，作为基准可以说我们希望每 15 分钟）并将其输入数据仓库。

多少数据？在高峰期，我们谈论每分钟大约 80-100k 行到达 OLTP 端，非高峰期这将显着下降到 15-20k。最频繁更新的行每行约为 64 字节，但有各种表等，因此数据非常多样化，每行最多可达 4000 字节。OLTP 24x5.5 处于活动状态。

最佳解决方案？

据我所知，最实用的解决方案如下：

• 创建 TRIGGER 以将所有 DML 活动写入旋转的 CSV 日志文件
• 执行所需的任何转换
• 使用原生 DW 数据泵工具将转换后的 CSV 有效地泵入 DW

为什么采用这种方法？

• TRIGGERS 允许将选择性表作为目标而不是系统范围 + 输出是可配置的（即到 CSV），并且相对容易编写和部署。SLONY 使用类似的方法，开销是可以接受的
• CSV 转换简单快速
• 易于将 CSV 泵入 DW

考虑的替代方案....

• 使用本机日志记录 ( http://www.postgresql.org/docs/8.3/static/runtime-config-logging.html )。问题是它相对于我需要的东西看起来非常冗长，并且解析和转换有点棘手。但是它可能会更快，因为我认为与 TRIGGER 相比开销更少。当然它会使管理员更容易，因为它是系统范围的，但同样，我不需要一些表（一些用于持久存储我不想记录的 JMS 消息）
• 直接通过 Talend 等 ETL 工具查询数据并将其泵入 DW ......问题是 OLTP 模式需要调整以支持这一点，并且有许多负面影响
• 使用经过调整/破解的 SLONY - SLONY 在记录和迁移更改到从属设备方面做得很好，因此概念框架就在那里，但提议的解决方案似乎更容易和更清晰
• 使用 WAL

有没有人这样做过？想分享你的想法吗？

当上面的脚本从浏览器执行时，它会加载 10 秒，然后将脚本的输出转储到屏幕上。这当然是正常的。但是如果我想让shell脚本写入STDOUT的数据实时显示在屏幕上，有什么办法可以做到吗？

我需要将音频样本从 11025 和 22050 转换为 44100；我正在寻找最快和最好听的转换程序。我要求用纯 Java 给出答案，而不需要外部例程或库。源是代表左右通道的短值数组，像这样交错LRLRLRLR
我听说高斯变换是最好的，但它是CPU杀手。

更新
要添加更多细节，我想要最好和最快的混合。答案将提供适合近实时通信的出色音频。
更新 2
我正在寻找一些简短的代码示例，应该是音频大师的 ez 点

现在我们使用 deltaImport 将数据从 db 更新到索引。但我们有一些信息需要实时搜索或接近实时搜索。如果我使用 solr 来解决这个问题，我该怎么办？

我正在构建一个需要实时索引结果的站点 atm（不是每秒 10,000 个文档，我的意思是毫秒更新）。我去研究不同的技术，最初想出了几十个不同的平台。通过使用推论（文档复杂性、不同类型的支持等），我已经能够将我的选择范围缩小到大约 3 个：

• 朗讯
• 夏必安
• 狮身人面像

我最初试图通过使用它们的网站在这两者之间进行选择，但令我惊讶的是，许多知名网站都信任这三个网站。我还发现所有这三个也允许毫秒更新。

我最初想到 Sphinx 是因为它是三个中唯一一个说完全实时索引而不是近实时索引只是发现它仍处于测试阶段（不确定该技术在实时索引中的可靠性如何）。

我倾向于 lucene，因为当 solr 获得实时索引时，将我的架构移动到 solr 将非常容易。

我也倾向于 Xapian，因为我知道很多网站都很好地实现了它。

我在决定这些技术以及哪一种最适合时遇到了很大的问题。

我正在查看一个拥有数百万甚至数千万条记录的站点，这些记录需要一个可以实时附加/删除/更新的索引。

任何人都可以分享他们使用实时搜索平台帮助我选择适合我的平台的经验吗？我愿意接受不在这里的建议:)。

PS我使用MongoDB，所以请不要发布仅限SQL的搜索平台:)。