我正在尝试将 IMS 大型机数据引入 Hadoop。想知道是否有可能通过以下任何 a)Apache Spark 或 MapReduce 作业。b) 任何其他工具/技术。
主要目标是我们希望每天/每周摄取 IMS 大型机数据，这些数据将按计划运行
问问题
162 次
4 回答
1
由于 IMS 大型机有一个可用的JDBC 连接器https://www.ibm.com/support/knowledgecenter/en/SSEPH2_13.1.0/com.ibm.ims13.doc.apg/ims_odbjdbcintro.htm使用Sqoop将是一个很好的起点. （绝对不是只阅读文档的 IMS 专业人士）
从sqoop ，您将在hadoop hdfs上写入数据，然后能够在 Spark 数据集上使用它。Sqoop 允许您进行完全导入或增量一。在我看来，我会推荐使用 sqoop 1 而不是版本 2 来推荐。使用 Cron 作业来安排您的运行，您将按照您的意愿安排。
于 2020-02-04T08:18:32.670 回答
1
您的首选 (a)，Apache Spark，可用于 z/OS。它以完全商业支持的形式称为 IBM Open Data Analytics for z/OS，有时缩写为 IzODA。IzODA 绝对支持直接访问 IMS 数据，但性能比远程 IMS 访问要好得多。IzODA 的 IBM 程序编号是 5655-OD1，IBM 提供基于云的试用版，以便您了解它的工作原理。
于 2020-02-07T05:20:33.690 回答
0
我建议对 DB2 使用 JDBC 连接器，对 DL/I 数据库使用高性能卸载。
存在用于持续数据捕获的产品 - Attunity 和 Optim 是其中的两个。
如果您不想要全部内容，您可以让 IMS 系统传递包含有趣内容的 MQ 或 Kafka 消息。
于 2020-11-15T18:56:47.990 回答
0
大型机文件的 DB2 接口不是最佳选择。我的工作中有一个类似的案例，JDBC 驱动程序没有提供我们的摄取框架和 HIVE 表创建所需的全套元数据。
您可以使用最简单的流程：
- 将文件导出到 FTP/SAMBA
- 将文件拉入 HDFS
- 使用 Spark 或 JVM 应用程序解析文件
于 2020-11-15T19:08:03.970 回答