0

我确实使用 Sesame (RDF4j) API 编写了一个 Java 应用程序来测试 > 700 个 SPARQL 端点的可用性，但它需要几个小时才能完成，所以我正在尝试使用 Hadoop/MapReduce 框架分发这个应用程序。

现在的问题是，在映射器类中，应该测试可用性的方法不起作用，我认为它无法连接到端点。

这是我使用的代码： 

public class DMap extends Mapper<LongWritable, Text, Text, Text> {

protected boolean isActive(String sourceURL)
        throws RepositoryException, MalformedQueryException, QueryEvaluationException {
    boolean t = true;
    SPARQLRepository repo = new SPARQLRepository(sourceURL);
    repo.initialize();
    RepositoryConnection con = repo.getConnection();
    TupleQuery tupleQuery = con.prepareTupleQuery(QueryLanguage.SPARQL, "SELECT * WHERE{ ?s ?p ?o . } LIMIT 1");
    tupleQuery.setMaxExecutionTime(120);
    TupleQueryResult result = tupleQuery.evaluate();
    if (!result.hasNext()) {
        t = false;
    }
    con.close();
    result.close();
    repo.shutDown();
    return t;
}

public void map(LongWritable key, Text value, Context context) throws InterruptedException, IOException {
    String src = value.toString();
    String val = "null";
    try {
        boolean b = isActive(src); 
        if (b) {
            val = "active";
        } else {
            val = "inactive";
        }
    } catch (MalformedQueryException e) {
        e.printStackTrace();
    } catch (RepositoryException e) {
        e.printStackTrace();
    } catch (QueryEvaluationException e) {
        e.printStackTrace();
    }
    context.write(new Text(src), new Text(val));
}
}

输入是 TextInputFormat，它看起来像这样：http:
//visualdataweb.infor.uva.es/sparql
...

输出是一个 TextOutputFormat，我得到这个：http:
//visualdataweb.infor.uva.es/sparql null
...

Edit1：正如@james-leigh 和@ChristophE 所建议的，我使用了try-with-resource 语句，但还没有结果： 

public class DMap extends Mapper<LongWritable, Text, Text, Text> {

    public void map(LongWritable key, Text value, Context context) throws InterruptedException, IOException {
        String src = value.toString(), val = "";
        SPARQLRepository repo = new SPARQLRepository(src);
        repo.initialize();
        try (RepositoryConnection con = repo.getConnection()) {
            TupleQuery tupleQuery = con.prepareTupleQuery(QueryLanguage.SPARQL, "SELECT * WHERE { ?s ?p ?o . } LIMIT 1");
            tupleQuery.setMaxExecutionTime(120);
            try (TupleQueryResult result = tupleQuery.evaluate()) {
                if (!result.hasNext()) {
                    val = "inactive";
                } else {
                    val = "active";
                }
            }

        }
        repo.shutDown();
        context.write(new Text(src), new Text(val));

    }

}

谢谢

4

1 回答 1

1

使用 try-with-resource 语句。SPRAQLRepository 使用必须正确清理的后台线程。

于 2017-08-25T13:27:02.517 回答