1

我需要检查一下：

  • 标题行存在
  • 标头包含一组特定的标头

这样做的最佳地点是什么。我有一些可能的解决方案，但不知道更惯用的解决方案

  • 在运行完整的 ETL 之前进行检查，例如在Kiba.parse块之前
  • 签pre_process入 ETL 内的块
  • 检查 ETL 源。我更喜欢这个，因为它更可重用（需要将必填字段作为参数传递）

请注意，即使我可以在一个transform块中检查 上可用的字段row，此解决方案似乎也不是很有效，因为它将为每一行运行。

任何提示表示赞赏

4

1 回答 1

1

实现这一目标的方法有很多种，而且都是非常惯用的：

在源代码级别（传递标头数组）

您可以使用CSVwithout headers: true，它提供了精细检查标题的机会：

class CSVSource
  def initialize(filename:, csv_options:, expected_headers:)
  # SNIP

  def each
    CSV.foreach(filename, csv_options).with_index do |row, file_row_index|
      if file_row_index == 0
        check_headers!(actual: row.to_a, expected: expected_headers)
        next # do not propagate the headers row
      else
        yield(Hash[expected_headers.zip(row.to_a)])
      end
    end
  end

  def check_headers!(actual:, expected:)
  # SNIP - verify uniqueness, presence, raise a clear message if needed
end

在源代码级别（让调用者使用 lambda 定义行为）

class CSVSource
  def initialize(after_headers_read_callback:, ...)
    @after_headers_read_callback = ...

  def each
    CSV.foreach(filename, csv_options).with_index do |row, file_row_index|
      if file_row_index == 0
        @after_headers_read_callback.call(row.to_a)
        next
      end
      # ...
    end
  end

lambda 将让调用者定义他们自己的检查，如果需要等，这更便于重用。

在转换级别

如果您想进一步解耦组件（例如，将标题处理与行来自 CSV 源的事实分开），您可以使用转换。

我通常使用这种设计，它可以更好地重用（这里使用 CSV 源会产生一些元数据）：

def transform_array_rows_to_hash_rows(after_headers_read_callback:)
  transform do |row|
    if row.fetch(:file_row_index) == 0
      @headers = row.fetch(:row)
      after_headers_read_callback.call(@headers)
      nil
    else
      Hash[@headers.zip(row.fetch(:row))].merge(
        filename: row.fetch(:filename),
        file_row_index: row.fetch(:file_row_index)
      )
    end
  end
end

什么不推荐

在所有情况下，请避免Kiba.parse自行进行任何处理。这是一个更好的设计，以确保 IO 仅在您调用时发生Kiba.run（因为它将更加面向未来，并且将支持更高版本的 Kiba 中的自省功能）。

此外，pre_process不推荐使用（虽然它会起作用），因为它会导致一些重复等。

希望这会有所帮助，如果不清楚，请告诉我！

于 2019-02-17T17:50:50.923 回答