问题标签 [kiba-etl]

我想编写一个 Kiba Etl 脚本，它有一个从 CSV 到目标 CSV 的源，其中有一个转换规则列表，其中第二个转换器是一个聚合，其中的操作如选择名称、按名称求和（欧元）组

Kiba ETL 脚本文件

用户.csv

result.csv（预期结果）

由于 etl 转换器一次在一行上一个接一个地执行，但是我的第二个转换器行为取决于整个行集合，我无法在传递给转换方法的类中访问它。

是否有可能使用 kiba gem 实现这种行为
提前谢谢你

我正在尝试使用类似于以编程方式用于 kiba cli 的代码的东西...

除了job_definition，我希望能够通过.run 命令传递参数。它看起来不像run支持这个，但我想我会检查一下。

我必须将数据加载到 Spree 应用程序中。Spree 使用 Rails 引擎。

所有示例都使用漂亮的打印或 CSV 目标，但我想在目标中使用 spree 模型，例如。SpreeModel.create!(row)

我试着做rails runner "exec('kiba db/etl/convert-csv.etl')"，但我得到这个错误：

我也在 Rails 控制台中尝试过，但没有成功。

如果我认为使用 kiba-etl gem 的行无效，有没有办法可以跳过加载某些行？

例如，如果在将其加载到系统之前必须通过验证或发生错误，并且在记录问题时我仍然需要将数据推送到 sys 中。

我正在构建一个 ETL，它将通过一个变量在不同的源上运行。

我如何执行我的工作（rake 任务）

并为我传递参数etl_file然后用于其来源？

source MySourceClass(variable_from_rake_task)

我最近设置了我的第一个“etl”流来从远程服务获取数据，修改它以适合我的本地模型，然后保存它。现在我已经完成了，由于几个原因，感觉很怪诞

mysource是来自远程服务的 JSON

my用新定义的 localtransform替换每个，基于原始rowmodelsource row

transform还查看各种值并定义其他本地关系

destination然后调用.save我新替换rows的现在是 ORM 中的模型。

1. 我应该如何根据外部数据源创建本地记录？我的模型看起来不像远程源。row用我的新模型对象替换条目是否正确？
2. 如果我应该row用我的本地模型替换值，那么我假设我应该将每个后续操作拆分为transform新行（现在是模型）上的一个？

总之，我的 .etl 看起来像

DoABunchOfWork 类有大约 6 个方法，它们process将调用以各种方式操作或设置关系

是否可以使用 Kiba 进行“查找”。

因为这在 etl 中是一个非常正常的过程。

如果可以，您能否展示一个演示，谢谢。

我的目标是将条目从一个大表映射到一个较小的表，尊重基于 GROUP BY 语句的查询。我想通过 Kiba 以增量方式同步它们，即不重写未更改的条目。

Kiba 是否能够识别并运行最少量的 INSERTS、UPDATES 和 DELETES 以同步两个表？

干杯!

我目前正在使用您的 gem 来转换从没有 api 的个人数据库中抓取的 csv。

从抓取中我最终得到了一个 csv。我可以用你的 gem 处理得很好，我想知道的只有一点

考虑以下数据：

我可以把它变成这样：

（我使用本教程来执行此操作： http: //thibautbarrere.com/2015/06/25/how-to-explode-multivalued-attributes-with-kiba/）

为此，我在加载程序上使用了 normalizelogic。代码如下所示：source RowNormalizer, NormalizeArticles, CsvSource, 'RP00119.csv' transform AddColumnEntiteit, :entiteit, "ocmw"

我想知道的是，我可以使用转换来实现相同的目标吗？所以代码看起来像这样：

所以问题是：我可以用转换类复制一行吗？

我们希望将 Kiba 作为一系列文件的批处理运行。提供文件掩码、从 FTP 下载文件、然后在每个文件上运行 ETL 作业、基于每个文件发送成功或失败通知的最佳结构是什么？

有没有办法在 Kiba 中做到这一点，或者最好的做法是在外部处理所有非 ETL 的东西，然后在每个文件上调用 kiba？