所以我有一些字符串：
//Blah blah blach
// sdfkjlasdf
"Another //thing"
我正在使用 java regex 替换所有带有双斜杠的行，如下所示：
theString = Pattern.compile("//(.*?)\\n", Pattern.DOTALL).matcher(theString).replaceAll("");
它在大多数情况下都有效，但问题是它删除了所有出现的事件，我需要找到一种方法让它不删除引用的事件。我该怎么做呢？
而不是使用解析整个 Java 源文件的解析器，或者自己编写一些只解析您感兴趣的部分的东西，您可以使用一些 3rd 方工具，如 ANTLR。
ANTLR 能够只定义那些你感兴趣的标记（当然还有那些可能会弄乱你的标记流的标记，比如多行注释和字符串和字符文字）。因此，您只需要定义一个能够正确处理这些标记的词法分析器（tokenizer 的另一个词）。
这称为语法。在 ANTLR 中，这样的语法可能如下所示：
lexer grammar FuzzyJavaLexer;
options{filter=true;}
SingleLineComment
: '//' ~( '\r' | '\n' )*
;
MultiLineComment
: '/*' .* '*/'
;
StringLiteral
: '"' ( '\\' . | ~( '"' | '\\' ) )* '"'
;
CharLiteral
: '\'' ( '\\' . | ~( '\'' | '\\' ) )* '\''
;
将以上内容保存在一个名为FuzzyJavaLexer.g. 现在在此处下载 ANTLR 3.2并将其保存在与您的文件相同的文件夹中FuzzyJavaLexer.g。
执行以下命令：
java -cp antlr-3.2.jar org.antlr.Tool FuzzyJavaLexer.g
这将创建一个FuzzyJavaLexer.java源类。
当然，您需要测试词法分析器，您可以通过创建一个名为FuzzyJavaLexerTest.java并在其中复制以下代码的文件来完成：
import org.antlr.runtime.*;
public class FuzzyJavaLexerTest {
public static void main(String[] args) throws Exception {
String source =
"class Test { \n"+
" String s = \" ... \\\" // no comment \"; \n"+
" /* \n"+
" * also no comment: // foo \n"+
" */ \n"+
" char quote = '\"'; \n"+
" // yes, a comment, finally!!! \n"+
" int i = 0; // another comment \n"+
"} \n";
System.out.println("===== source =====");
System.out.println(source);
System.out.println("==================");
ANTLRStringStream in = new ANTLRStringStream(source);
FuzzyJavaLexer lexer = new FuzzyJavaLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
for(Object obj : tokens.getTokens()) {
Token token = (Token)obj;
if(token.getType() == FuzzyJavaLexer.SingleLineComment) {
System.out.println("Found a SingleLineComment on line "+token.getLine()+
", starting at column "+token.getCharPositionInLine()+
", text: "+token.getText());
}
}
}
}
接下来，通过执行以下操作编译您的FuzzyJavaLexer.java和FuzzyJavaLexerTest.java：
javac -cp .:antlr-3.2.jar *.java
最后执行FuzzyJavaLexerTest.class文件：
// *nix/MacOS
java -cp .:antlr-3.2.jar FuzzyJavaLexerTest
或者：
// Windows
java -cp .;antlr-3.2.jar FuzzyJavaLexerTest
之后，您将看到以下内容打印到您的控制台：
===== source =====
class Test {
String s = " ... \" // no comment ";
/*
* also no comment: // foo
*/
char quote = '"';
// yes, a comment, finally!!!
int i = 0; // another comment
}
==================
Found a SingleLineComment on line 7, starting at column 2, text: // yes, a comment, finally!!!
Found a SingleLineComment on line 8, starting at column 13, text: // another comment
很容易，嗯？:)
使用解析器，逐个字符地确定它。
开球示例：
StringBuilder builder = new StringBuilder();
boolean quoted = false;
for (String line : string.split("\\n")) {
for (int i = 0; i < line.length(); i++) {
char c = line.charAt(i);
if (c == '"') {
quoted = !quoted;
}
if (!quoted && c == '/' && i + 1 < line.length() && line.charAt(i + 1) == '/') {
break;
} else {
builder.append(c);
}
}
builder.append("\n");
}
String parsed = builder.toString();
System.out.println(parsed);
（这是对@finnw 在他的回答下的评论中提出的问题的回答。与其说是对 OP 问题的回答，不如说是对为什么正则表达式是错误工具的扩展解释。）
这是我的测试代码：
String r0 = "(?m)^((?:[^\"]|\"(?:[^\"]|\\\")*\")*)//.*$";
String r1 = "(?m)^((?:[^\"\r\n]|\"(?:[^\"\r\n]|\\\")*\")*)//.*$";
String r2 = "(?m)^((?:[^\"\r\n]|\"(?:[^\"\r\n\\\\]|\\\\\")*\")*)//.*$";
String test =
"class Test { \n"+
" String s = \" ... \\\" // no comment \"; \n"+
" /* \n"+
" * also no comment: // but no harm \n"+
" */ \n"+
" /* no comment: // much harm */ \n"+
" char quote = '\"'; // comment \n"+
" // another comment \n"+
" int i = 0; // and another \n"+
"} \n"
.replaceAll(" +$", "");
System.out.printf("%n%s%n", test);
System.out.printf("%n%s%n", test.replaceAll(r0, "$1"));
System.out.printf("%n%s%n", test.replaceAll(r1, "$1"));
System.out.printf("%n%s%n", test.replaceAll(r2, "$1"));
r0是您答案中编辑的正则表达式；它只删除最后的注释 ( // and another)，因为其他所有内容都在 group(1) 中匹配。设置多行模式 ( (?m)) 是正常工作所必需的^，$但它并不能解决这个问题，因为您的字符类仍然可以匹配换行符。
r1处理换行问题，但它仍然// no comment在字符串文字中不正确匹配，原因有两个：您没有在 ; 的第一部分包含反斜杠(?:[^\"\r\n]|\\\")。并且您只使用了其中两个来匹配第二部分中的反斜杠。
r2修复了这个问题，但它不会尝试处理文字中的引号char或多行注释中的单行注释。它们可能也可以处理，但是这个正则表达式已经是 Baby Godzilla；你真的想看到这一切都长大了吗？
以下是我几年前（在 Perl 中）编写的一个类似 grep 的程序。它有一个选项可以在处理文件之前去除 java 注释：
# ============================================================================
# ============================================================================
#
# strip_java_comments
# -------------------
#
# Strip the comments from a Java-like file. Multi-line comments are
# replaced with the equivalent number of blank lines so that all text
# left behind stays on the same line.
#
# Comments are replaced by at least one space .
#
# The text for an entire file is assumed to be in $_ and is returned
# in $_
#
# ============================================================================
# ============================================================================
sub strip_java_comments
{
s!( (?: \" [^\"\\]* (?: \\. [^\"\\]* )* \" )
| (?: \' [^\'\\]* (?: \\. [^\'\\]* )* \' )
| (?: \/\/ [^\n] *)
| (?: \/\* .*? \*\/)
)
!
my $x = $1;
my $first = substr($x, 0, 1);
if ($first eq '/')
{
"\n" x ($x =~ tr/\n//);
}
else
{
$x;
}
!esxg;
}
此代码确实可以正常工作，并且不会被棘手的注释/引用组合所迷惑。它可能会被 unicode 转义（\u0022 等）愚弄，但如果您愿意，您可以轻松地首先处理这些转义。
因为它是 Perl，而不是 java，所以替换代码必须改变。我将快速制作等效的 java。支持...
编辑：我刚刚把它搞定了。可能需要工作：
// The trick is to search for both comments and quoted strings.
// That way we won't notice a (partial or full) comment withing a quoted string
// or a (partial or full) quoted-string within a comment.
// (I may not have translated the back-slashes accurately. You'll figure it out)
Pattern p = Pattern.compile(
"( (?: \" [^\"\\\\]* (?: \\\\. [^\"\\\\]* )* \" )" + // " ... "
" | (?: ' [^'\\\\]* (?: \\\\. [^'\\\\]* )* ' )" + // or ' ... '
" | (?: // [^\\n] * )" + // or // ...
" | (?: /\\* .*? \\* / )" + // or /* ... */
")",
Pattern.DOTALL | Pattern.COMMENTS
);
Matcher m = p.matcher(entireInputFileAsAString);
StringBuilder output = new StringBuilder();
while (m.find())
{
if (m.group(1).startsWith("/"))
{
// This is a comment. Replace it with a space...
m.appendReplacement(output, " ");
// ... or replace it with an equivalent number of newlines
// (exercise for reader)
}
else
{
// We matched a quoted string. Put it back
m.appendReplacement(output, "$1");
}
}
m.appendTail(output);
return output.toString();