0

我正在做中文单词之间的匹配，例如“语言中心”和大量网络文件（php、html、htm 等）。

但是，不知何故我收到以下错误：

Malformed UTF-8 character (1 byte, need 2, after start byte 0xdf) in regexp compilation at ../Final_FindOnlyNoReplace_CLE_Chinese.pl line 89, <INFILE> line 12.

任何人都可以帮忙吗？

这是我的代码。

#!/usr/bin/env perl
use Encode qw/encode decode/;

use utf8;
use strict;
use Cwd;
use LWP::UserAgent;

my($path) = @_;

## append a trailing / if it's not there
$path .= '/' if($path !~ /\/$/);

use File::Glob ':glob';

my @all_files = bsd_glob($path."*");

for my $eachFile (@all_files) {
    open(INFILE, "<$eachFile") || die ("Could not open '$eachFile'\n");

    my(@inlines) = <INFILE>;
    my($line, $find);
    my $outkey = 1;

    foreach $line (@inlines) {
        $find = &find($line);
        if ($find ne 'false') {
            chomp($line);
            print "\tline$outkey : $line\n"; 
        }
        $outkey ++;
    }
}

#subroutine
sub find {
    my $m = encode("utf8", decode("big5", @_));

    my $html = LWP::UserAgent->new
        ->get($m)
        ->decoded_content;
    my $str_chinese = '語言中心';

    if ($m =~ /$str_chinese/) {  
        $m; ##if match, return the whole line.
    }
}
4

2 回答 2

0 
#!/usr/bin/env perl
use utf8;
use strictures;
use LWP::UserAgent qw();
use Path::Class::Rule qw();
use URI::file qw();

my $start_directory = q(.);
my $search_text = qr'語言中心';

my $next = Path::Class::Rule->new->name(qw(*.php *.htm*))->iter($start_directory);

my @matching_lines;
while (my $file = $next->()) {
    for my $line (split /\R/, LWP::UserAgent
        ->new
        ->get(URI::file->new_abs($file))
        ->decoded_content
    ) {
        push @matching_lines, $line if $line =~ $search_text;
    }
}
# @matching_lines is (
#     '<title>Untitled 語言中心 Document</title>',
#     'abc 語言中心 cde',
#     '天天向上語言中心他'
# )
于 2012-06-22T10:51:12.853 回答
0

你不是在$html你已经检索和解码的地方搜索，而是在 URL:$m =~ /$str_chinese/中搜索，我猜这不是你想要的。

此外，您正在将find函数的结果与确切的字符串“false”进行比较，这永远不会起作用。为了清楚起见，更改if ($find ne 'false')为if (defined($find))并添加成功和失败的显式返回find。

最后，您的脚本似乎失败了，因为您将它指向在其他文件中包含一些其他 Perl 脚本的目录。它们最有可能采用 UTF-8 格式，因此当您的脚本尝试将它们作为 big5 数据读取时，解码失败。只需更改您的 glob 以仅覆盖数据文件。

于 2012-06-22T10:09:52.973 回答