问题标签 [etl]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
12 回答
56557 浏览

sharepoint - 将 SharePoint 列表数据提取到单独的 SQL Server 表的最简单方法是什么?

已编辑:将提取的 SharePoint 列表数据抓取到单独的 SQL Server 表 的最简单方法是什么?一种情况:您处于无法控制 SharePoint Server 后面的 SQL Server 的工作环境中,因此您不能只从UserData表中提取数据。

是否有任何实用程序可用于安排夜间提取?

Microsoft 是否计划在此处对“SharePoint 4”进行任何改进?

2009 年 1 月 6 日更新:
http
://connectionstrings.com/sharepoint 对于未安装 Office 的服务器,您需要:
此下载

0 投票
15 回答
409015 浏览

sql-server - 将 Excel 电子表格列导入 SQL Server 数据库

我有一个 Excel 电子表格,我想将选择的列导入到我的 SQL Server 2008 数据库表中。向导没有提供该选项。

是否存在任何简单的代码选项?

0 投票
5 回答
5382 浏览

web-services - 实现动态数据导入器工具的良好设计模式是什么?

我们正计划构建一个动态数据导入工具。基本上以指定格式(access、excel、csv)在一端获取信息并将其上传到网络服务中。

情况是我们不知道导出字段名称,因此应用程序需要能够看到 wsdl 定义并映射到另一端的有效条目。

在导入部分,我们可以定义大部分字段,但通常它们有一些是自定义的。我认为这没有问题。

我只是想知道是否有适合这种类型的应用程序或有助于开发它的设计模式。

0 投票
5 回答
2228 浏览

sql-server - 如何处理 ETL 任务?

我应该执行 ETL,其中源是一个大型且设计糟糕的 sql 2k 数据库和一个设计更好的 sql 2k5 数据库。我认为SSIS是要走的路。谁能建议一个待办事项清单或清单或需要注意的事情,这样我就不会忘记任何事情?我应该如何处理这个问题,这样它就不会在后面咬我。

0 投票
1 回答
429 浏览

sql - SQL 多维数据集处理窗口

我有 Dim Tables、Fact Tables、ETL 和一个立方体。我现在希望确保我的多维数据集只保存前 2 个月的数据。这应该通过强制我的事实表只保存 2 个月的数据并执行“完整过程”来完成,还是有办法从我的多维数据集中修剪过时的数据?

0 投票
3 回答
1812 浏览

php - 开发 PHP 数据导入框架的最佳实践是什么?

在我们作为一家气象公司的 Web 开发人员工作期间,我们一遍又一遍地面临着同样的任务:从某个地方(FTP/Web/目录/邮件)获取一些文件并将包含的数据导入数据库。

当然,文件格式永远不会相同,数据库总是设计不同,必须处理无数特殊情况等等。

所以现在我正在为这种工作计划一个导入框架。由于我们都是经验丰富的 PHP 开发人员,并且当前的脚本是 PHP 或 Perl,我们将坚持使用 PHP 作为脚本语言。

  • 数据获取器将从源中获取文件,将其打开并将内容存储到字符串变量中。(别担心,PHP 会从我们这里获得足够的内存。)
  • 数据处理程序将完成复杂的工作以将字符串转换为某种数组。
  • 该数组将被保存到数据库或写入新文件或我们应该对它执行的任何操作。

除了这个功能之外,还有一些常见的错误处理、日志写入和电子邮件报告。

这个想法是使用类的集合(一些 getter 类,许多专门的处理程序,一些 writer 类)。

我的问题:我如何在工作脚本中实际组织这些课程?我是否发明了某种将被解释的元语言并相应地调用类?或者只是提供这些类必须实现的一些简单接口,而我的用户(就像我说的:经验丰富的 PHP 开发人员)会编写加载这些类的小型 PHP 脚本?

第二个版本几乎可以肯定提供最大的灵活性和可扩展性。

对于这样的事业,您还有其他想法吗?

0 投票
2 回答
239 浏览

sql - SQL 图像 -> 字节数组

所以我正在导入一些存储在 SQL 图像列中的图像,我需要将它们更改为字节数组,因为我将图像存储为 varbinary(max) 并重新创建它们。如果有一个程序可以做到这一点,或者一个非常简单的方法,我会喜欢它,因为我没有很多时间。

有什么想法吗?

0 投票
2 回答
246 浏览

sql-server - 如何使用 ETL 管理身份?

我需要帮助找出工作流程,但我不知道该怎么做......假设我正在将(ETL?)数据从表 A 转换到表 B。表 A 有一个复合主键 A.a+ A.b+Ac,而表 B 只有一个自动填充的标识列。如何将复合键从 A 映射回插入 B 时创建的标识?

最好我不希望表 B 中的任何列与 A 的复合键相关,因为有许多其他表需要进行相同的操作但没有相同的复合键结构。

0 投票
2 回答
714 浏览

open-source - 使用 Jasperforge 进行数据仓库,我真正需要从哪些包开始?

对于一家大型商业在线商店,我的公司需要启动一个商业智能项目。

我们做了网店;可能只有几个数据源,所以我认为集成很容易。

我们正在创建数据仓库数据库,从另一个角度重新审视实际的数据库。

我开始四处寻找一些开源 BI 框架,并提出了 Pentaho 和 JasperForge 作为可能的候选者。

我看过 Jasperforge,但我不明白我需要如何拥有前端的软件/包(如 Pentaho 演示);有人可以帮我对 Jasper BI Suite 的部署做一个简短的高级简报吗?我不明白它是否使用蒙德里安,它是否包含在内?

我可以将 JasperServer 与 Microsoft SQL Server 一起使用吗?

0 投票
4 回答
1746 浏览

data-warehouse - Jitterbit 作为 ETL 工具

有人用Jitterbit作为 ETL 工具吗?任何评论/教程?