3

我在制作一个 PERL 程序来匹配两个文档中的单词时遇到了问题。假设有文件 A 和 B。

所以我想删除文档 A 中不在文档 B 中的单词。

示例 1：

A：我吃披萨

B：她去市场吃披萨

结果：吃披萨

例 2 : A: 吃披萨

B：比萨吃

result:pizza（词序相关，所以删掉“吃”。）

我在系统中使用 Perl，每个文档中的句子不是很大，所以我想我不会使用 SQL

该程序是印度尼西亚语（Bahasa）自动论文评分的子程序

谢谢，对不起，如果我的问题有点混乱。我对“这个世界”真的很陌生：）

4

1 回答 1

1

好的，我目前无法访问，因此不能保证 100% 甚至可以编译，但应该提供足够的指导：

解决方案1：（词序无关）

#!/usr/bin/perl -w

use strict;
use File::Slurp;

my @B_lines = File::Slurp::read_file("B") || die "Error reading B: $!";
my %B_words = ();
foreach my $line (@B_lines) {
    map { $B_words{$_} = 1 } split(/\s+/, $line);
}
my @A_lines = File::Slurp::read_file("A") || die "Error reading A: $!";
my @new_lines = ();
foreach my $line (@A_lines) {
    my @B_words_only = grep { $B_words{$_} } split(/\s+/, $line);
    push @new_lines, join(" ", @B_words_only) . "\n";
}
File::Slurp::write_file("A_new", @new_lines) || die "Error writing A_new: $!";

这应该会创建一个新文件“A_new”，其中仅包含 A 在 B 中的单词。

这有一个小错误 - 它会用一个空格替换文件 A 中的任何多个空格，所以

    word1        word2              word3

会变成

word1 word2 word3

它可以修复，但这样做真的很烦人，所以我没有打扰，除非你绝对要求正确保留空白 100%

解决方案 2：（字序很重要，但您可以从文件 A 中打印单词，而完全不考虑保留空格）

#!/usr/bin/perl -w

use strict;
use File::Slurp;

my @A_words = split(/\s+/gs, File::Slurp::read_file("A") || die "Error reading A:$!");
my @B_words = split(/\s+/gs, File::Slurp::read_file("B") || die "Error reading B:$!");
my $B_counter = 0;
for (my $A_counter = 0; $A_counter < scalar(@A_words); ++$A_counter) {
    while ($B_counter < scalar(@B_words)
        && $B_words[$B_counter] ne $A_words[$A_counter]) {++$B_counter;}
    last if $B_counter == scalar(@B_words);
    print "$A_words[$A_counter]";
}

解决方案 3（为什么我们又需要 Perl？:)）

您可以在没有 Perl 的情况下在 shell 中轻松完成此操作（或通过 system() 调用或父 Perl 脚本中的反引号）

comm -12 A B | tr "\012" " "

要从 Perl 调用它：

my $new_text = `comm -12 A B | tr "\012" " " `;

但是请参阅我的最后一条评论，为什么这可能被认为是“糟糕的 Perl”……至少如果您在循环中执行此操作，并且迭代了很多文件并关心性能。

于 2010-05-24T01:24:03.530 回答