0

我编写了一个 InvertedIndex java 程序，给定一个单词，它在某个静态字符串数组中搜索该单词，其中每个字符串都是一个需要搜索的 url。它最终返回找到该单词的所有 url 的列表。

这是我的相关代码：

static final String[] URL_SEARCH_LIST = {
        "http://www.cnn.com", "http://www.daniel.com", "http://www.amazon.com"
    };
private static List<String> search (String query) {
        try {
            List<String> urlList = new ArrayList<String>();
            for (String site : URL_SEARCH_LIST) {
                URL url = new URL(site);
                HttpURLConnection conn = (HttpURLConnection) url.openConnection();
                conn.setRequestMethod("GET");
                BufferedReader br = new BufferedReader(new InputStreamReader(
                        (conn.getInputStream())));
                String htmlContent;
                while ((htmlContent = br.readLine()) != null) {
                    if (htmlContent.contains(query)) {
                        urlList.add(site);
                        break;
                    }
                }
            }
            System.out.println("Search for: " + query + " Is Done!");
            return urlList;

        } catch (Exception e) {
            System.out.println(e.getMessage());
            return null;
        }
    }

现在我想让它在 Amazon EMR 上运行，这意味着我需要将我的程序转换为执行相同操作的 Map-Reduce 程序。

鉴于此代码，有人可以帮我开始吗？我没有完全理解map和reduce的概念......

提前致谢

4

1 回答 1

1

Map-reduce 基本上只是分而治之加上许多基础设施，因此在您的URL_SEARCH_LIST数组上划分（映射），创建每个本地urlList，并组合（减少）所有urlLists最终输出

于 2013-06-20T14:19:07.470 回答