0

也许我遗漏了一些明显的东西,但是对于我的生活,我无法弄清楚在 Gandiva 过滤器操作之后如何访问数组的元素。

我链接了一个最小的例子,我像这样编译:

$ /usr/lib64/ccache/g++ -g -Wall -m64 -std=c++17 -pthread -fPIC \
      -I/opt/data-an/include  mwe.cc -o mwe \
      -L/opt/data-an/lib64 -lgandiva -larrow

然后我像这样运行二进制文件:

$ LD_LIBRARY_PATH=/opt/data-an/lib64 ./mwe

总的来说,这就是我正在尝试的(随后是 MWE 的摘录):

  1. 创建一个 5 元素向量:1、3、2、4、5

    int num_records = 5;
    arrow::Int64Builder i64builder;
    ArrayPtr array0;
    
    EXPECT_OK(i64builder.AppendValues({1, 3, 2, 4, 5}));
    EXPECT_OK(i64builder.Finish(&array0));
    
  2. 使用 Gandiva 获取偶数元素,索引:2、3

    // schema for input fields
    auto field0 = field("f0", arrow::int64());
    auto schema = arrow::schema({field0});
    
    // even: f0 % 2 == 0
    auto field0_node = TreeExprBuilder::MakeField(field0);
    auto lit_2 = TreeExprBuilder::MakeLiteral(int64_t(2));
    auto remainder = TreeExprBuilder::MakeFunction("mod", {field0_node, lit_2}, int64());
    auto lit_0 = TreeExprBuilder::MakeLiteral(int64_t(0));
    auto even = TreeExprBuilder::MakeFunction("equal", {remainder, lit_0}, boolean());
    auto condition = TreeExprBuilder::MakeCondition(even);
    
    // input record batch
    auto in_batch = arrow::RecordBatch::Make(schema, num_records, {array0});
    
    // filter
    std::shared_ptr<Filter> filter;
    EXPECT_OK(Filter::Make(schema, condition, &filter));
    
    std::shared_ptr<SelectionVector> selected;
    EXPECT_OK(SelectionVector::MakeInt16(num_records, pool_, &selected));
    EXPECT_OK(filter->Evaluate(*in_batch, selected));
    
  3. 使用 Gandiva 过滤器中的选择向量作为索引数组访问原始数组中的偶数元素

    // std::cout << "array0[0]: " << array0->Value(0); // doesn't compile
    // error: ‘using element_type = class arrow::Array’ {aka ‘class
    // arrow::Array’} has no member named ‘Value’
    
    // downcast it to the correct derived class
    auto array0_cast = std::dynamic_pointer_cast<NumericArray<Int64Type>>(array0);
    std::cout << "array0[0]: " << array0_cast->Value(0) << std::endl;
    

但我似乎无法访问选择向量的元素。由于它被声明为std::shared_ptr<arrow::Array>,因此Value(..)找不到该方法。因为我用 填充它SelectionVector::MakeInt16(..),所以我尝试向下转换为arrow::NumericArray<Int16Type>,但是失败了!我不确定我哪里出错了。

auto idx_arr_cast = std::dynamic_pointer_cast<NumericArray<Int16Type>>(idx_arr);
if (idx_arr_cast) {
  std::cout << "idx_arr[0]: " << idx_arr_cast->Value(0) << std::endl;
} else {
  std::cerr << "idx_arr_cast is a nullptr!" << std::endl;
}

我也有一个相关但更笼统的问题。给定一个数组,如果我不知道确切的类型,我就找不到访问元素(或迭代它们)的方法。如果我知道类型,我可以向下转换,并使用 、 、 等之类的东西Value(..)GetValue(..)GetString(..)似乎很圆,只是为了访问元素。我错过了什么?

注意:完整的 MWE 以及 Makefile 可以从此gist中克隆。

4

1 回答 1

0

SelectionVector存储索引,因此类型为,unsigned以下工作:

auto arr = std::dynamic_pointer_cast<NumericArray<UInt16Type>>(selected->ToArray());

感谢 Arrow 开发人员列表中的 Ravindra 提供了答案

于 2018-12-14T18:24:43.710 回答