0

我相信我没有正确使用 String Tokenizer。这是我的代码：

  buffer = new byte[(int) (end - begin)];
                fin.seek(begin);
                fin.read(buffer, 0, (int) (end - begin));

                StringTokenizer strk = new StringTokenizer(new String(buffer),
                                DELIMS,true);

如您所见，我正在从文件中读取一大段行（结束和开始是行号），并且我正在将数据传输到字符串标记器。我的分隔符是：

DELIMS = "\r\n ";

因为我想分隔它们之间有空格的单词，或者在下一行。但是，此代码有时也会分隔整个单词。能有什么解释？？我的 DELIMS 字符串是否设计错误？

此外，我将“true”作为参数传递给标记器，因为我希望分隔符也被视为标记。（我想要这个是因为我想计算我当前所在的行）

请你帮助我好吗。非常感谢。

4

2 回答 2

2

首先，您将字节转换为字符串的方法有点可疑，而且这种整体方法效率较低，尤其是对于较大的文件。

您是否需要使用 StringTokenizer？如果没有，我强烈建议使用Scanner。我会为您提供一个示例，但会要求您只参考 Javadocs，它们非常全面并且已经包含很好的示例。也就是说，它也接受分隔符 - 但作为正则表达式，请注意。

于 2011-12-10T03:25:23.473 回答
1

您始终可以将输入流包装在LineNumberReader. 这将为您跟踪行号。LineNumberReader extends BufferedReader，它有一个readLine()方法。这样，您可以使用常规StringTokenizer来获取您的单词作为标记。您可以使用正则表达式或Scanner，但对于这种情况，StringTokenizer 对于初学者来说更容易理解和更快。

您必须有一个 RandomAccessFile。您没有指定，但我根据您使用的方法猜测。尝试类似：

byte [] buffer = ...; // you know how to get this.
ByteArrayInputStream stream = new ByteArrayInputStream(buffer);

// if you have java.util.Scanner
{
    int lineNumber = 0;
    Scanner s = new Scanner(stream);

    while (s.hasNextLine()) {
        lineNum++;
        String line = s.nextLine();
        System.out.format("I am on line %s%n", lineNum);
        Scanner lineScanner = new Scanner(line);

        while (lineScanner.hasNext()) {
            String word = lineScanner.next();
            // do whatever with word
        }
    }
}

// if you don't have java.util.Scanner, or want to use StringTokenizer
{
    LineNumberReader reader = new LineNumberReader(
                          new InputStreamReader(stream));
    String line = null;

    while ((line = reader.nextLine()) != null) {
        System.out.println("I am on line " + reader.getLineNumber());
        StringTokenizer tok = new StringTokenizer(line);

        while (tok.hasMoreTokens()) {
            String word = tok.nextToken();
            // do whatever with word
        }
    }
}
于 2011-12-10T03:45:30.290 回答