regex - 使用 curl 列出文件

Question

我正在尝试列出该网站上的所有 gz 文件

site=http://ftp.ebi.ac.uk/pub/databases/uniprot/current_release/rdf/
curl -s "$site" --list-only | sed -n 's%.*href="rdf/uni([^"]*\.rdf.gz)".*%\1%p'

但我收到此错误：

sed: -e expression #1, char 40: invalid reference \1 on `s' command's RHS

Answer 1

我会避免regex解析html. 在这里，您可以使用perl和mojolicious作为解析器的替代方法：

perl -Mojo -E '
    g(q|http://ftp.ebi.ac.uk/pub/databases/uniprot/current_release/rdf/|)
    ->dom
    ->find(q|a|)
    ->each(sub { 
        my $t =  $_->text; 
        say $t if $t =~ m/rdf\.gz\Z/ 
    })'

但是如果你坚持使用sed，你的正则表达式就会出现一些问题。首先，必须对括号进行转义才能进行分组。二rdf/uni是不匹配。第三，当你这样做时，[^"]*它会绕过扩展名rdf.gz。把它改成寻找a.然后检查扩展名，但我记得那是很脆弱的。它可能会以多种方式失败，例如名称中带有 a 的文件.：

curl -s "$site" --list-only | sed -n 's%.*href="\([^.]*\.rdf\.gz\)".*%\n\1%; ta; b; :a; s%.*\n%%; p'

两个命令都产生：

citations.rdf.gz
databases.rdf.gz
diseases.rdf.gz
enzyme.rdf.gz
go.rdf.gz
journals.rdf.gz
keywords.rdf.gz
locations.rdf.gz
pathways.rdf.gz
taxonomy.rdf.gz
tissues.rdf.gz
uniparc.rdf.gz
uniprot.rdf.gz
uniref.rdf.gz