java - java中spark cassandra连接器的问题

Question

我正在尝试从 java 中的 spark 查询 cassandra。下面是获取数据的代码，但 mapToRow 方法需要两个参数。第一个是类，第二个是 ColumnMapper。如何在 java 中获取 ColumnMapper 类的实例。谷歌搜索它建议创建派生类 JavaBeanColumnMapper 的对象，但没有找到 JavaBeanColumnMapper 类应该如何实例化。

List<String> dates = Arrays.asList("2015-02-02","2015-02-08");
    JavaRDD<DailyTaxlot> openTaxlots = CassandraJavaUtil.javaFunctions(sc).
            cassandraTable("wedbush_praveen_testing", "cf_taxlots",CassandraJavaUtil.mapToRow(DailyTaxlot.class),).
                    where("openclosetag=?","Open").where("rundate IN",dates);

任何线索将不胜感激。

Answer 1

在此处查看 spark-cassandra-connector 的示例：

JavaApiDemo.java

在示例中，您可以看到 Person bean 类是如何定义的。API 将根据需要为每一行实例化它。

JavaRDD<Person> rdd = CassandraJavaUtil.javaFunctions(sc).cassandraTable("test", "people", mapRowTo(Person.class));

// Bean definition
public static class Person implements Serializable {
    private Integer id;
    private String name;
    private Date birthDate;

    public static Person newInstance(Integer id, String name, Date birthDate) {
        Person person = new Person();
        person.setId(id);
        person.setName(name);
        person.setBirthDate(birthDate);
        return person;
    }

    public Integer getId() {
        return id;
    }

    public void setId(Integer id) {
        this.id = id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public Date getBirthDate() {
        return birthDate;
    }

    public void setBirthDate(Date birthDate) {
        this.birthDate = birthDate;
    }  
}