问题标签 [data-integration]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
pentaho - Pentaho 与 REST 的数据集成
我正在尝试使用 un/pwd 身份验证通过 SSL 连接到休息 API。我可以浏览 URL - 但是当我运行该作业时,什么也没有发生。本质上,我只想连接到服务器并将数据输出到 xml 文件中。
先感谢您
工作:
日志:
2011/07/28 15:42:10 - 转换元数据 - 我们有 0 个连接... 2011/07/28 15:42:10 - 转换元数据 - 读取 2 个步骤... 2011/07/28 15:42: 10 - 转换元数据 - 查看步骤 #0 2011/07/28 15:42:10 - 转换元数据 - 查看步骤 #1 2011/07/28 15:42:10 - 转换元数据 - 我们有 1 个跃点... 2011/07/28 15:42:10 - 转换元数据 - 看 hop
0 2011/07/28 15:42:10 - 转换元数据 - nr 步骤读取:
2 2011/07/28 15:42:10 - 转换元数据 - 读取的跳数:1 2011/07/28 15:42:10 - 勺子 - 转换打开。2011/07/28 15:42:10 - Spoon - 启动转换 [测试]... 2011/07/28 15:42:10 - Spoon - 开始执行转换。2011/07/28 15:42:10 - 测试 - 为转换开始调度 [测试] 2011/07/28 15:42:10 - 测试 - 检测到的参数数量:0 2011/07/28 15:42:10 -测试 - 这不是重播转换 2011/07/28 15:42:10 - 转换元数据 - 在 {0} 毫秒内执行的自然步骤(计算先前步骤的 {1} 时间)2011/07/28 15:42: 10 - 测试 - 我发现了 2 个不同的启动步骤。2011/07/28 15:42:10 - 测试 - 分配行集... 2011/07/28 15:42:10 - 测试 - 为第 0 步分配行集 --> REST 客户端 2011/07/28 15:42: 10 - 测试 - prevcopies = 1,
2011/07/28 15:42:10 - 测试 - 分配步骤和 StepData... 2011/07/28 15:42:10 - 测试 - 转换即将分配 [Rest] 类型的步骤 [REST Client] 2011/ 07/28 15:42:10 - 测试 - 步骤的 nrcopies=1 2011/07/28 15:42:10 - REST Client.0 - 分发激活 2011/07/28 15:42:10 - REST Client.0 -开始分配缓冲区和新线程... 2011/07/28 15:42:10 - REST Client.0 - 步骤信息:nrinput=0 nroutput=1 2011/07/28 15:42:10 - REST Client.0 - 输出相对。是 1:1 2011/07/28 15:42:10 - REST Client.0 - 找到输出行集 [REST Client.0 - XML Output.0] 2011/07/28 15:42:10 - REST Client.0 -完成调度 2011/07/28 15:42:10 - 测试 - 转换已分配新步骤:[REST Client].0 2011/07/28 15:42:0/1。2011/07/28 15:42:10 - XML Output.0 - 在从服务器上运行
0/1。2011/07/28 15:42:10 - XML Output.0 - 打开输出流
编码:UTF-8 2011/07/28 15:42:10 - 测试 - 步骤 [REST Client.0] 已完美初始化。2011/07/28 15:42:10 - 测试 - 步骤 [XML Output.0] 已完美初始化。2011/07/28 15:42:10 - 测试 - 转换已分配 2 个线程和 1 个行集。2011/07/28 15:42:10 - REST Client.0 - 开始运行... 2011/07/28 15:42:10 - REST Client.0 - 向 1 个输出行集发出“输出完成”信号。2011/07/28 15:42:10 - XML Output.0 - 开始运行... 2011/07/28 15:42:10 - REST Client.0 - 完成处理 (I=0, O=0, R =0, W=0, U=0, E=0) 2011/07/28 15:42:10 - XML Output.0 - 向 0 个输出行集发出“输出完成”信号。2011/07/28 15:42:10 - XML Output.0 - 完成处理 (I=0, O=0, R=0, W=0, U=0, E=0) 2011/07/28 15: 42:10 - 勺子 - 改造完成!!
sas - SAS 数据集成:SAP 表提取错误
这是错误代码:
错误日志:
知道为什么会这样吗?我试图提取的表称为 CDPOS。其他 SAP 表上没有错误
data-integration - 选择正确的工具
我有以下需求:
1) 用户将在“uploads”文件夹中上传 .xls 或 .csv 文件。2)“上传”文件夹必须不断监控,并且随着每个新文件添加到他,必须开始一项工作。3) Job 将处理来自 .xls 或 .csv 文件的数据,使其符合 DB 表结构,并将这些数据写入 DB 表。
这必须是自动化的过程,我正在寻找多合一的解决方案工具。
pentaho - 是否可以按顺序执行 pentaho 步骤?
我有一个 pentaho 转换,它由例如 10 个步骤组成。我想为 N 个输入参数启动此作业,但不是并行,每个作业评估应在之前的转换完全完成后开始(在事务中完成并提交或回滚的过程)。Pentaho可以吗?
copy - 如何使用 Pentaho 数据集成在表之间复制列
我认为这将是一项简单的任务,但由于我是 PDI 的新手,所以到目前为止我无法找到选择哪种转换来完成以下任务:
我正在使用 Pentaho Data Integration(以前的 Kettle)社区版,将一个数据库“A”的一个表(“tasksA”)中的值映射/复制到另一个数据库 B 中的另一个表“tasksB”。taskA 有一个“描述”列' 并且我想将这些值复制到“tasksB”中的“taskName”列。此外,我必须多次复制“description”的每个值,因为在“tasksB”中,“taskName”中的每个值都有多行。
也许这可以通过直接 SQL 实现,但我想尝试是否可以使用 PDI 定义这个更具可读性,特别是因为在下一步中我必须将它扩展到涉及的其他表。
所以我必须告诉'description'的哪个值必须映射到'taskName'的哪个值以及在'taskName'列中包含该值的每个元组中(嗯,听起来像一个WHERE子句......)它应该被替换。
我对“表输入”和“表输出”步骤的第一次实验没有奏效,因为我只是在它们之间画了一个跳跃并修改了“表输出”步骤的“数据库字段”选项卡,这在生成的 SQL 不是我想要的。我不想修改架构,只需复制值。
如果有人能指出我需要的正确步骤/转换,那就太好了,我研究了 Pentaho Wiki 中的第一个示例,并获得了 Casters 等人的“Pentaho Kettle Solutions”一书。但可以找出如何解决这个问题。非常感谢您的帮助。
data-integration - 数据集成
我一直在研究数据集成方法 Global as view 和 Local as view ,但我找不到任何关于如何为这些形成查询的示例,谁能给我示例如何使用 GAV 查询这些数据集成方法和请 LAV
我在这里专门询问 GAV 和 LAV
我知道 GAV(全局视图)是通过数据源描述的,而 LAV(本地视图)是通过中介模式描述的。但是,我不完全确定这些术语的含义,也不知道它们如何影响生成的查询。
GAV 有一个维基百科页面,没有查询示例,遗憾的是 LAV 没有维基百科页面
filepath - Pentaho 数据集成转换,Internal.Transformation.Filename.Directory 未设置
我正在尝试使用内置Internal.Transformation.Filename.Directory
变量。我以 Pentaho Data Integration 提供的一个简单示例为例,CSV Input - Reading customer data with error logging.ktr
.
这是变量感知字段中 CTRL+SPACE 之后的工具提示:
但是,我的操作与示例中的完全相同,我的变量没有值:
有什么想法吗?我已经简要检查了 Pentaho 论坛,但是我发现的唯一相关问题似乎没有回答我的问题。
我正在使用 Ubuntu 和 PDI 版本 4.2.1。
提前致谢。
etl - 从 Siebel 数据库中提取数据到 Dat 文件和临时表
我正在研究一个新的要求,我对此很陌生。所以寻求你的帮助。要求 - 从 Siebel 基表(S_ORG_EXT、S_CONTACT、S_PROD_INT)我必须导出数据并需要放入两个暂存表(S1 和 S2)中,我需要从这些暂存表中创建包含行数的管道分隔的 dat 文件。对于暂存表 S1,我们应该有 Accounts 及其关联的联系人,对于 S2,我们应该有 account 及其关联的联系人和 Product。
我应该怎么做。我是否需要直接使用 Informatica 作业从 Siebel 基表中提取数据,或者需要运行 EIM 导出作业以获取 EIM 表中的数据并从那里获取到临时表。
请帮助我知道我应该走哪条路。
database-design - 交叉引用数据时使用“模糊搜索”
我的部门负责收集和显示来自各种公司内部来源的数据,以用于数据挖掘/公司仪表板。
我们面临的一大挑战是跨部门交叉引用位置名称。我们是一个相当大的组织,具有不同利益的部门对任何一个地点都进行自己的报告。一般来说,在这些部门的报告中,位置名称的确切名称存在很多差异。例如,一个位置可能被称为:
- 神话般的餐厅
- 很棒的餐厅
- 很棒的餐饮
- 当该位置进行一些翻新时......很棒的咖啡馆'
- 甚至利润中心 12345ABC
所以我的问题是在我们自己的数据库和代码中协调这些名称时存在哪些最佳实践?让我们暂时假设我的部门没有能力将组织统一在一个共同的等级标准下(这将是最佳解决方案)。目前,我们的做法是维护不断增长的位置名称参考表,然后将这些参考表引用回我们自己的命名标准。这使我们能够与我们的数据保持历史一致性。
在交叉引用位置时实施某种“模糊搜索”是否可行/可取?例如,可能会忽略诸如“the”之类的词的实例,或者平等对待“cafe”和“restaurant”(基于一些预定义的逻辑)。
我当然不认为我们能够通过算法解释我们遇到的所有随机命名约定,但是能够解释其中的一些/大部分就足够了吗?
json - 使用 JSON Input 步骤处理不均匀数据
我正在尝试使用 JSON 输入步骤处理以下内容:
然而,这似乎是不可能的:
该步骤提供了忽略缺失路径标志,但它仅在所有行都错过相同路径时才有效。在这种情况下,该步骤按预期运行,并用 null 填充缺失值。
这限制了这一步读取不均匀数据的能力,这确实是我的优先事项之一。
我的 step 字段定义如下:
我错过了什么吗?这是正确的行为吗?