1

我假装扩展我的应用程序,并且该过程的某些部分包括由一些处理客户端同时运行水壶作业,在某些点转换需要在某些共享表上执行组合查找(假设“clients_table”),该表快速增长是由于所有可能的客户都是未知的,因此它们被插入作为显示。在此表上同时执行作业(假设 2 个,但可能不止于此,每个客户端每个客户端)的组合查找,由于我想在插入非现有客户端时出现“重复的条目键 xxx”错误(当组合查找时),它会出现并发问题没有在表中找到它们来检索它的 ID)。事实上,每次处理客户端执行水壶作业时都会转移新客户端,因此上述问题很常见。我想知道我是否打破了水壶哲学或者我遗漏了一些东西,我读过关于使水壶转换事务性,这可能是我的解决方案,因为我认为正在发生的事情是组合查找步骤不是事务性的?给我一些想法。

PS:我正在使用 Kettle 4.2 和 MySql 5.2

4

1 回答 1

0

我最终为kettle 做了我自己的事务组合查找插件(带有缓存管理),因为它使整个转换事务变得多么昂贵。

于 2012-08-22T18:04:52.163 回答