我正在尝试使用 Pipe (cascading.pipe.Pipe) 来读取文件。因此，文件中的每条记录都遵循一个模式，但尾部记录除外；每当管道读取代码执行时，它都会抛出异常，因为预告片记录与架构不匹配。管道看起来像：
fieldlst：列表（col1，col2，col3）
val filtersInput = Csv(inputFilePath, separator = "|", fields = fieldlst, skipHeader = true) .read
谁能告诉我一个解决方案。通过读写文件删除预告片似乎是一个简单的解决方案，但为此，我必须读写整个文件，而且文件可能非常大。