0

我在该网站上进行了搜索，令人惊讶的是，我似乎找不到适合我特定问题的东西。所以我想我会发布它，看看你们中一些更有经验的程序员如何解决问题。

我有一个类似文本文件的电子表格（许多行带有制表符分隔的列），我想搜索某些标签（例如脚手架1253.1_size81005.6.32799_7496）并用更简化的标签替换它们（例如脚手架1253.1a）。这些标签仅在文本文件的第一列中。我已经编写了脚本，这样我就有了一个散列，其中旧标签作为键，对应于新标签作为它们各自的值。这个哈希有大约 26000 行。所以基本上我想一一取散列键，在文本文件中搜索它们，然后用它们各自的散列值替换它们。

我有一个很好的服务器可用，所以如果它太复杂而无法使其成为特定于加速进程的第一列，那么没关系。

这是我到目前为止所拥有的：

 use warnings;  



$gtf = './Hc_genome/Hc_rztk_1+2+8+9.augustus.gtf'; 
    open(FASTAFILE2, $gtf);
    @gtfarray = <FASTAFILE2>;
    #print @gtfarray;


my %hash;
while (<>)
{
   chomp;
   my ($key, $val) = split /\t/;
   $hash{$key} .= exists $hash{$key} ? ",$val" : $val;
}

#print %hash;

while (my ($find, $replace) = each %hash) {
    foreach (@gtfarray){
        $_ =~ s/$find/$replace/g;
        push @newgtf, $_;   
    }
}
print @newgtf;

此代码似乎不起作用，因为它没有完成。我很确定这是 foreach 循环结构的问题。抱歉，我不知道有任何其他方法可以做到这一点。有没有人有更好的方法来运行这个文件并进行替换？

任何投入将不胜感激！谢谢，

安德鲁

@DVK

这是您的 mod 的完整脚本，它在您的 while 循环中遇到语法错误，知道为什么它不接受它吗？再次感谢！

use warnings;  

$gtf = './Hc_genome/Hc_rztk_1+2+8+9.augustus.gtf'; 
    open(FASTAFILE2, $gtf);

my %hash;
while (<>){
    chomp;
    my ($key, $val) = split /\t/;
    $hash{$key} .= exists $hash{$key} ? ",$val" : $val;
}


while $line (<FASTAFILE2>){
    my @fields = split(/\t/, $line);
    # If you only care about first column, don't need the foreach loop below;
    #    just do the loop insides on $fields[0]
    foreach my $field (@fields) {
        $field = $hash{$field} if exists $hash{$field};
        print $outfile "$field\t"; # Small bug - will print training \t
    }
    print $outfile "\n"
}

__END__

这是语法错误： perl gtf_mod2.pl <./Hc_genome/header_file.txt gtf_mod2.pl 第 14 行的语法错误，“while $line” 附近 gtf_mod2.pl 第 23 行的语法错误，“}” 执行 gtf_mod2。 pl 由于编译错误而中止。

4

4 回答 4

1

您要替换第一列的文件有多大？

如果它> 50,000行，你最好做相反的事情：

  • 遍历哈希文件一次，并将该哈希存储在内存中

  • 遍历主文件一次，对于每一行、每一列，在记忆的散列中找到该值，如果找到则替换为散列值，然后写入。

换句话说，删除第一个@gtfarray = <FASTAFILE2>;并将最后一个 while 循环替换为：

while my $line (<FASTAFILE2>) {
    my @fields = split(/\t/, $line);
    # If you only care about first column, don't need the foreach loop below;
    #    just do the loop insides on $fields[0]
    foreach my $field (@fields) {
        $field = $hash{$field} if exists $hash{$field};
        print $outfile "$field\t"; # Small bug - will print training \t
    }
    print $outfile "\n";
}

注意：我假设这些字段包含您的哈希键的全部内容（例如，您的数据文件将包含一个带有“scaffold1253.1_size81005.6.32799_7496”的字段，但不是一个带有“XYZscaffold1253.1_size81005.6.32799_7496___IOU”的字段） .

如果该假设是错误的，并且您确实需要运行正则表达式，因为您的脚手架字符串可能包含在更长的字符串中，那么除了运行 O(N*M) 正则表达式之外，可能还有更好的解决方案：如果您的脚手架字符串都是某种明确定义的格式（例如“scaffoldNNNNN.NNN_sizeNNNNN.NNN.NNNN_NNNN”），那么您需要做的是：

  • 对于数据文件的每一行，运行一个正则表达式来查找该模式，并将整个模式放在捕获组括号内：

    @matches = ($line =~ m/(scaffold\d+\.\d+_size\d+\.\d+\.\d+_\d+/g );

  • 然后，在哈希中查找 @matches 数组的每个值。如果找到，则仅将匹配项作为/// 正则表达式运行。

于 2013-07-05T19:39:21.047 回答
1

您第一次使用初始$find和$replace键/值对通过循环耗尽文件。

有两种可能的解决方案：

  1. 在while 循环的每次迭代期间打开文件以进行读取（昂贵）
  2. 将 foreach 循环移动到 while 的外部并每次迭代哈希（成本更低）

例子：

REPLACE:
for my $line (@gtfarray) {
   while(my ($find, $replace) = each %hash) {
      if($line =~ s/$find/$replace/g) {
         push @newgtf, $line;
         next REPLACE; # skip to next iteration
      }
   }
   # if there was no replacement, push the old line
   push @newgtf, $line
}
于 2013-07-05T19:35:51.577 回答
0

它可以成为一份工作Tie::File吗？也就是说，假设数据文件可以作为数组进行操作。

use Tie::File; 

my $file = "./Hc_genome/Hc_rztk_1+2+8+9.augustus.gtf"; 

tie @lines, 'Tie::File', $file or die ;
for (@lines) {
 s/Oldlabel/NewLable/g;   # Change this to fit
}

untie @lines ;

Tie::File做了一堆技巧来保持对文件内存的“原地”更改有效。

于 2013-07-05T20:44:09.210 回答
0

查看您之前的帖子，在读取文件时创建缩短的“id”不是更简单吗？那么你就不需要你得到哈希的其他文件了吗？

这是下面的（未经测试的）代码。（需要将打印语句定向到命令行上的输出文件或打开文件以写入脚本）。

#!/usr/bin/perl
use strict;
use warnings;

my $gtf = './Hc_genome/Hc_rztk_1+2+8+9.augustus.gtf';
open my $FASTAFILE2, "<", $gtf or die "Unable to open '$gtf' for reading. $!";

my %seen;

while (<$FASTAFILE2>) {
    chomp;
    my ($id, $val) = split /\t/, $_, 2;

    # copy $id to $prefix and
    # remove everything after '.1' in $prefix
    (my $prefix = $id) =~ s/\.1\K.*//; 

    if ($seen{$id}) {
        ++$seen{$id};
    }
    else {
        $seen{$id} = 'a';   
    }
    print "$prefix$seen{$id}\t$val\n";
}

close $FASTAFILE2 or die "Unable to close '$gtf' from reading. $!";
于 2013-07-05T20:55:27.270 回答