问题标签 [kiba-etl]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1339 浏览

ruby - 如何在 kiba etl 脚本(kiba gem)中进行聚合转换?

我想编写一个 Kiba Etl 脚本,它有一个从 CSV 到目标 CSV 的源,其中有一个转换规则列表,其中第二个转换器是一个聚合,其中的操作如选择名称、按名称求和(欧元)组

Kiba ETL 脚本文件

用户.csv

result.csv(预期结果)

由于 etl 转换器一次在一行上一个接一个地执行,但是我的第二个转换器行为取决于整个行集合,我无法在传递给转换方法的类中访问它。

是否有可能使用 kiba gem 实现这种行为
提前谢谢你

0 投票
0 回答
223 浏览

kiba-etl - 将参数传递给 Kiba 运行方法

我正在尝试使用类似于以编程方式用于 kiba cli 的代码的东西...

除了job_definition,我希望能够通过.run 命令传递参数。它看起来不像run支持这个,但我想我会检查一下。

0 投票
1 回答
619 浏览

ruby-on-rails - 如何在 Rails 环境中运行 kiba etl?

我必须将数据加载到 Spree 应用程序中。Spree 使用 Rails 引擎。

所有示例都使用漂亮的打印或 CSV 目标,但我想在目标中使用 spree 模型,例如。SpreeModel.create!(row)

我试着做rails runner "exec('kiba db/etl/convert-csv.etl')",但我得到这个错误:

我也在 Rails 控制台中尝试过,但没有成功。

0 投票
2 回答
188 浏览

kiba-etl - 是否可以使用 kiba-etl gem 跳过加载行?

如果我认为使用 kiba-etl gem 的行无效,有没有办法可以跳过加载某些行?

例如,如果在将其加载到系统之前必须通过验证或发生错误,并且在记录问题时我仍然需要将数据推送到 sys 中。

0 投票
2 回答
902 浏览

kiba-etl - 如何将参数传递到您的 ETL 作业中?

我正在构建一个 ETL,它将通过一个变量在不同的源上运行。

我如何执行我的工作(rake 任务)

并为我传递参数etl_file然后用于其来源?

source MySourceClass(variable_from_rake_task)

0 投票
0 回答
119 浏览

kiba-etl - 用于从远程服务获取数据、将其转换为本地 ORM 模型、然后建立关系的 ETL 流程?

我最近设置了我的第一个“etl”流来从远程服务获取数据,修改它以适合我的本地模型,然后保存它。现在我已经完成了,由于几个原因,感觉很怪诞

mysource是来自远程服务的 JSON

my用新定义的 localtransform替换每个,基于原始rowmodelsource row

transform还查看各种值并定义其他本地关系

destination然后调用.save我新替换rows的现在是 ORM 中的模型。

  1. 我应该如何根据外部数据源创建本地记录?我的模型看起来不像远程源。row用我的新模型对象替换条目是否正确?
  2. 如果我应该row用我的本地模型替换值,那么我假设我应该将每个后续操作拆分为transform新行(现在是模型)上的一个?

总之,我的 .etl 看起来像

DoABunchOfWork 类有大约 6 个方法,它们process将调用以各种方式操作或设置关系

0 投票
1 回答
150 浏览

kiba-etl - 是否可以使用 Kiba 进行查找

是否可以使用 Kiba 进行“查找”。

因为这在 etl 中是一个非常正常的过程。

如果可以,您能否展示一个演示,谢谢。

0 投票
1 回答
178 浏览

etl - Kiba:表之间的“增量同步”

我的目标是将条目从一个大表映射到一个较小的表,尊重基于 GROUP BY 语句的查询。我想通过 Kiba 以增量方式同步它们,即不重写未更改的条目。

Kiba 是否能够识别并运行最少量的 INSERTS、UPDATES 和 DELETES 以同步两个表?

干杯!

0 投票
1 回答
191 浏览

ruby-on-rails - 我可以使用转换与 kiba 复制行吗?

我目前正在使用您的 gem 来转换从没有 api 的个人数据库中抓取的 csv。

从抓取中我最终得到了一个 csv。我可以用你的 gem 处理得很好,我想知道的只有一点

考虑以下数据:

我可以把它变成这样:

(我使用本教程来执行此操作: http: //thibautbarrere.com/2015/06/25/how-to-explode-multivalued-attributes-with-kiba/

为此,我在加载程序上使用了 normalizelogic。代码如下所示:source RowNormalizer, NormalizeArticles, CsvSource, 'RP00119.csv' transform AddColumnEntiteit, :entiteit, "ocmw"


我想知道的是,我可以使用转换来实现相同的目标吗?所以代码看起来像这样:

所以问题是:我可以用转换类复制一行吗?

0 投票
1 回答
231 浏览

kiba-etl - 将 Kiba 用作文件批处理的最佳实践

我们希望将 Kiba 作为一系列文件的批处理运行。提供文件掩码、从 FTP 下载文件、然后在每个文件上运行 ETL 作业、基于每个文件发送成功或失败通知的最佳结构是什么?

有没有办法在 Kiba 中做到这一点,或者最好的做法是在外部处理所有非 ETL 的东西,然后在每个文件上调用 kiba?