问题标签 [flatfilereader]

我的 test.txt 文件看起来像这样

我尝试了很多命令将其作为数据框导入，如下所示：

你能帮助我吗？

我正在使用Spring Batch和FlatFileItemReader读取 .CSV 文件。一个文件有一个标题（第一行）、详细信息和页脚（最后一行）。因此，我想通过页脚行验证详细信息的总数。

这是我的示例 .csv 文件。

电影.csv

名称|类型|年份
诺丁山|爱情喜剧|1999
玩具总动员3|动画|2010
美国队长：第一复仇者|动作|2011
3

来自示例文件
第一行是一个标题（我忽略它）。
第 2-4 行是细节行，最后是页脚。

我想读取页脚并获取值（最后一行 = 3）
，然后获取详细信息的总数记录（在这种情况下我们有 3 行）
，最后我将验证页脚 (3) 的总数和详细信息的总数记录(3) 是否相等？

这是我的代码。

目前，我为五个不同的类实现了这个方法，为五个不同的文本文件配置 FlatFileReader 并加载到 DB 表中。

我想知道有没有办法在一个共同的地方实现这个方法，这样我的每个文件都会调用这个方法来配置我的阅读器来读取它们对应的文件..

每个文件都会发送不同的实体类来加载他们的文件。像主要实体、ChildEntity1、ChildEntity2、ChildEntity3、ChildEntity4。

我正在创建一个 Spring Batch 作业，以将数据从给定的 CSV 文件填充到数据库表中。我创建了一个自定义的 FlatFileItemReader。我的问题是 read() 方法只被调用一次，所以只有我的 CSV 文件的第一行被插入到数据库中。

myModelCsvReader

FieldSetMapper 实现

欢迎任何贡献。谢谢 // 扩展 FlatFileItemReader 后的读者

我正在创建一个作业，它将根据输入参数读取和处理不同的 .csv 文件。有 3 种不同类型的 .csv 文件，它们具有不同的标题。我想使用通用的将文件的每一行映射到 POJO FlatFileItemReader。

每种类型的文件都有自己的 POJO 实现，所有“文件特定 POJO”都是从 abstract 子类化的GenericFilePOJO。

tasklet 将首先读取输入参数以决定需要读取哪种文件类型，并构造一个带有适当标题列的 LineTokenizer。它将这些信息放在 infoHolder 中，以便在阅读器步骤中检索。

尽管返回了GenericFilePOJO?

我有一个 Spring Boot 应用程序，我写了一些 ItemWriter 和 ItemReaders，例如 JSON 文件和 CSV 文件。

我想添加一个压缩到 GZIP 并从 GZIP 解压缩的步骤。

我想知道是否可以像往常一样使用 JavaStreams -

如果我有一些 InputStream 或 OutputStream，我可以用另一个流来装饰它（即，另一个流可以在它的构造函数中获取它并使用它），这样就可以轻松地获得所有流的功能。

可以用 Spring ItemWriter 和 ItemReader 完成吗？

否则，为现有的作者和读者添加压缩和解压缩的最佳方法是什么？

在自定义映射器中，我检查的所有地方，映射都是基于列索引完成的。有没有办法根据列名获取数据？

所以假设我需要读取一个包含 10 列的 .csv 文件，而我只想要五列以下。

目前我已经创建了一个通用的 PropertiesFieldSetMapper 类，我也将它用于其他工作。

}

现在，如果只有 5 列且顺序相同，则上面的代码集可以正常工作。当列增加时，代码失败。为此，我们可以实现自定义映射器。

}

在上面的代码中，我已经根据列索引完成了映射。但是，如果列的顺序发生变化，这也会失败。因此，为了使其健壮，我想通过名称而不是列索引来映射它。

有没有办法做到这一点？提前致谢。

我正在处理一个由“|”分隔的文本文件 有标题和数据后跟一个预告片。这个序列可以在同一个文件中重复。所以我的格式是这样的

我的问题是，对于每条记录，我创建的行对象必须具有标题中的雇主 #。在阅读下一个标题时，后面的所有行都应该有新的雇主 #。我正在使用 Spring Batch 和 FlatFileItemReader 来解析这个文件。我有一个自定义线映射器，我可以在其中确定该线是 HEADER 还是数据，但我不确定如何存储标题数据，以便在读取数据线时可以访问先前读取的 HEADER

任何线索将不胜感激。
谢谢

我正在尝试验证输入文件是否为空或有数据。我正在通过 XML beans 配置使用 spring 批处理，我的实际配置如下：

在我的课堂 Scholar ItemReader 中，我有类似的东西：

但它从未进入“else”声明，它只是结束了这个过程。

任何人都知道是否有另一种方法来验证文件是否为空？

由于 Teiid Designer 版本兼容性，我将 Teiid 9.3.7 与 Wildfly 10 一起使用。我正在尝试从平面文件中构建视图。文件中有两种不同类型的条目。每种类型的条目都有一个键属性，我需要它才能与其他表连接，但是每种类型的条目的键属性的位置不同。第一个数字（4）将告诉我该行是哪种条目。我导入了数据源并以相同的方式解析每一行，因此我可以从两种类型的条目中捕获关键属性，但作为不同的列。视图的转换看起来像这样

选择 A.TYPE、A.column_1、A.ID、A.column_2、A.KEY_ATTRIB_1、A.column_3、A.KEY_ATTRIB_2、A.column_4 FROM (EXEC CorrSourceModel.getTextFiles('my_input.txt')) AS f、TEXTTABLE (f.file COLUMNS TYPE string WIDTH 4, column_1 string WIDTH 32, ID string WIDTH 9, column_2 string WIDTH 2466, KEY_ATTRIB_1 string WIDTH 25, column_3 string WIDTH 1445, KEY_ATTRIB_2 string WIDTH 13, column_4 string WIDTH 2854) AS A

所以在视图中，我可以在他们的列中看到两个关键属性。我需要构建的最终虚拟视图模式是该行的原始行、该行的关键属性，以及我从另一个具有该关键属性的数据源连接的附加属性。所以为了做到这一点，我需要测试第一个属性（4 位数字），所以我知道女巫列是我的关键属性。就像我需要一个 IF... ELSE 语句。

如果有办法做到这一点？谢谢。