问题标签 [tokyo-tyrant]

我正在考虑为我的一个项目创建一个全文搜索引擎。我们有一个Mysql、Tokyo Tyrant 和需要索引的文件文档。

我现在正在查看 Sphinx，但我不知道是否可以使用它来索引每个文档。

我知道让 Sphinx 使用 Mysql 是可能的，但我正在寻找一种让 Sphinx 索引和查询 Tokyo Tyrant 以及索引文件文档的方法。

它可能是 Sphinx 或 Xapian 或另一个，但没有 JAVA（Lucene 已退出），但可以与 PHP 一起使用并在 Linux 上运行。

任何可以接受更多 Mysql 作为来源的搜索引擎的想法？

谢谢

因此，我正在研究用于 Python 的各种 key:value（其中 value 严格来说是单个值或可能是一个对象）存储，并找到了一些有希望的存储。我目前还没有具体要求，因为我处于评估阶段。我正在寻找什么是好的，什么是坏的，这些东西处理得好或不好的极端情况是什么，等等。我相信你们中的一些人已经尝试过它们，所以我很想听听你的发现/问题/ETC。在 Python 的各种 key:value 存储上。我主要看：

memcached - http://www.danga.com/memcached/ python 客户端：http://pypi.python.org/pypi/python-memcached/1.40 http://www.tummy.com/Community/software/python-内存缓存/

CouchDB - http://couchdb.apache.org/ python 客户端：http ://code.google.com/p/couchdb-python/

东京暴君 - http://1978th.net/tokyotyrant/ python 客户端：http ://code.google.com/p/pytyrant/

Lightcloud - http://opensource.plurk.com/LightCloud/基于 Tokyo Tyrant，用 Python 编写

Redis - http://redis.io/ python 客户端：http: //pypi.python.org/pypi/txredis/0.1.1

MemcacheDB - http://memcachedb.org/

所以我开始使用简单的计数来生成数字键和“A short string of text”的值进行基准测试（只需插入键并读取它们）：

memcached：CentOS 5.3/python-2.4.3-24.el5_3.6，libevent 1.4.12-stable，memcached 1.4.2，默认设置，1 gig 内存，每秒 14,000 次插入，16,000 秒读取。没有真正的优化，很好。

memcachedb 声称每秒插入 17,000 到 23,000 次，每秒读取 44,000 到 64,000 次。

我也想知道其他人如何在速度方面有所提高。

我注意到 rufus-tokyo 和其他 api 支持东京暴君的交易。我在 TT 文档 ( http://1978th.net/tokyotyrant/spex.html#clientprog )中找不到任何提及交易支持的内容

该交易支持是模拟的吗？或者有没有办法使用 C api 进行服务器端事务？

我正在为小型企业的文档管理系统选择非 SQL 引擎还是常规 SQL 引擎。

我有使用 firebird/sql server 的经验，并且发现了良好的可靠性跟踪（特别是使用 firebird）。

这个市场到处都是蹩脚的“服务器”（克隆制造的 PC，市长），廉价的硬盘，很少使用 RAID 或类似的东西，有些在正常断电的地方，有些没有 UPS，等等...（我将包括到外部服务器的异地自动备份，但不会更改内部设置）。（我知道有关此类正确设置的最终用户教育，但愚蠢的依赖于这一点，所以坚持 te 点）

从设计的角度来看，无模式数据库是适合我的系统的方法，但是，我担心是否有任何实际解决方案（MongoDb、Tokyo Cabinet 等）像 firebird 和 survice 崩溃、故障和滥用，所以数据损坏非常罕见。

该计划是将办公文件存储在那里并提供一个中央存储库。

我一直在尝试为我的应用程序找到更好的东京内阁（或东京暴君）配置，但我不知道具体如何。我知道一些参数的含义，但我想有一个微调控制，所以我需要知道每个参数的影响。东京的文档非常好，但目前还不是。

• TCHDB -> *bool tchdbtune(TCHDB *hdb, int64_t bnum, int8_t apow, int8_t fpow, uint8_t opts);*

我如何使用bnum：apow和fpow？

• TCBDB -> *bool tcbdbtune(TCBDB *bdb, int32_t lmemb, int32_t nmemb, int64_t bnum, int8_t apow, int8_t fpow, uint8_t opts);*

如何使用：lmemb、、、和？nmembbnumapowfpow

• TCFDB -> *bool tcfdbtune(TCFDB *fdb, int32_t width, int64_t limsiz);*

我如何使用：width和limsiz？注意：我只是把这个放在主题中获取所有类型的数据库，这个真的很简单。

• TCTDB -> *bool tctdbtune(TCTDB *tdb, int64_t bnum, int8_t apow, int8_t fpow, uint8_t opts);*

我如何使用bnum：apow和fpow？

我想知道东京暴君指数的大小要求。

如果我在字段上有一个索引并只x插入一个包含字段的记录，那么索引会增长吗？另外：在这种情况下插入时间会增加吗？yzx

我在 freebsd 主机上午餐的情况暴君服务器，像这样：

ttserver -uas -log /data/tyrant/1.log -sid 1 -thnum 8 -tout 5 /data/tyrant/data/1.tct

我尝试在 Windows 上通过 python 和 pyrant-0.3.5 与该服务器通信：像这样：

并且我认为每 10,000 条记录大约 5-6 条记录的性能非常缓慢。但是如果我在服务器（ttserver）这样的同一台机器上启动这段代码。性能良好 - 每 10,000 条记录大约 0.5 秒

我必须做些什么来解决这个问题？

这可能吗？我在任何地方都找不到答案。

基本上，我正在查看一个设置，其中我有多个工人（盒子），它们最终必须将所有数据都存储到东京内阁索引/数据库中（我在 memcached 协议上使用 Tokyto Tyrant。这并不重要，但仍然如此）

基本上，我尝试将数据直接推送到另一个运行 Tokyo Tyrant 的盒子，但一段时间后 TT 无法处理它。插入变得非常慢，工作人员坐在那里闲着想​​将数据卸载到 TT 服务器。（我尝试了各种方法来提高性能，更多的内存、raid-configs、盒子上的多个 TT 服务器等）但性能（插入/秒）的主要下降迟早会出现。

现在，我正在考虑让每个工人将自己的数据存储在本地东京暴君数据库中的选项，然后合并所有工人的数据库（保证没有重复的密钥）

任何帮助表示赞赏，（还有其他在 TT 上分配负载的方法表示赞赏）

顺便说一句：TT 的配置：#bnum=20000000#opts=l#xmsiz=162000000 我将 bnum 设置为预期项目的上限：2000 万。

谢谢， Geert-Jan

有人可以参考东京内阁和东京暴君的好教程吗

FAL Labs拥有多种东京产品和京都产品：

• Tokyo Cabinet 和 Kyoto Cabinet 都是轻量级数据库。
• Tokyo Tyrant 和 Kyoto Tycoon 都是轻量级的数据库服务器...

有人能解释一下东京和京都产品之间的区别吗？