4

我有一个关键字列表和一个黑名单。我想删除所有包含任何黑名单项的关键字。目前我这样做:

my @keywords = ( 'some good keyword', 'some other good keyword', 'some bad keyword');
my @blacklist = ( 'bad' );

A: for my $keyword ( @keywords ) {
    B: for my $bl ( @blacklist ) {
        next A if $keyword =~ /$bl/i;      # omitting $keyword
    }
    # some keyword cleaning (for instance: erasing non a-zA-Z0-9 characters, etc)
}

我想知道有没有最快的方法可以做到这一点,因为目前我在黑名单中有大约 2500 万个关键词和几百个词。

4

3 回答 3

4

最直接的选择是join将黑名单条目添加到单个正则表达式中,然后grep是那些与该正则表达式不匹配的关键字列表:

#!/usr/bin/env perl    

use strict;
use warnings;
use 5.010;

my @keywords = 
  ('some good keyword', 'some other good keyword', 'some bad keyword');
my @blacklist = ('bad');

my $re = join '|', @blacklist;
my @good = grep { $_ !~ /$re/ } @keywords;

say join "\n", @good;

输出:

some good keyword
some other good keyword
于 2013-05-24T09:42:09.493 回答
3

my @blacklist = ( qr/bad/i )如果您想保留嵌套循环,预编译搜索可能会有所帮助。

或者,从更改my @blacklist = ( 'bad', 'awful', 'worst' )my $blacklist = qr/bad|awful|worst/;,然后将内部循环替换为if ( $keywords[$i] =~ $blacklist ) ....

于 2013-05-24T09:39:51.410 回答
0

这应该这样做:

my @indices;
for my $i (0..$#keywords) {
  for my $bl (@blacklist) {
    if ($keywords[$i] =~ $bl) {
      push(@indices, $i);
      last;
    }
  }
}
for my $i (@indices) {
  @keywords = splice(@keywords, $i);
}
于 2013-05-24T09:32:48.163 回答