0

更新：

现在我正在尝试接收大约 120M 行的数组。我没有通过 UTL_file 执行此操作的原因是因为在我们的生产服务器中，它需要 oracle 用户访问权限才能将写入的平面文件写入并将其移动到我们所需的目录中。另外一个问题是提取后仍然需要大量文本操作，我认为这是 Perl 的工作。

我现在想做的是编写我自己的 DBI::Iterator 实现以及它可能需要的所有其他依赖项；不过要清楚，不一定都是。（就像一些只有 DBI 的方法，然后只是 idb_rows ......只是为了让它运行，因为我无法安装模块）

原始问题：

美好的一天，我对 perl 编程比较陌生，一周前我开始在 perl 中再次收到内存不足的消息。我之前可以通过切换到 64 位 perl 来解决这个问题。

我昨天刚刚发现我的生产机器的内核不允许我使用超过 4GB 的内存（在我的其他生产服务器中，我能够将大量数据加载到内存中）

这是我在生产服务器中的具体限制

  1. 我不允许安装 perl 的新模块
  2. 在某种程度上，我被允许在本地安装它们，但我遇到了麻烦

我现在打算做的是重新创建这个模块。 迭代器::DBI

我没有迭代器的背景。在最长的时间内，我通过以下函数开发数据库提取和 ETL 流程。使用下面的函数一年半后，我第一次遇到内存不足的错误。

sub myDBI
{
    my ($filename) = @_; 
    my $query = "";
    unless(open(FILE,$filename))
    {
        Logger("[ ERR ] unable to open $SETTINGS{SQL_TRIGGER}\n");
        print
        die;
    }
    my @result=`sqlplus -S $SETTINGS{USER_NAME}/$SETTINGS{PASSWORD}\@$SETTINGS{DB_NAME} <<END
    SET HEADING OFF
    SET FEEDBACK OFF
    SET SERVEROUTPUT ON
    SET LINES 5000
    SET COLSEP "||"
    $query
    /
    `
    ;
    @result;
}
4

1 回答 1

1

你有几个选择：

  • 如果您安装了local::lib，则可以将 Iterator::DBI 等 CPAN 模块安装到用户目录。您只需要设置一些环境变量来指定要使用的目录。

    export PERL_MB_OPT='--install_base /home/username/perl5'
export PERL_MM_OPT='INSTALL_BASE=/home/username/perl5'
export PERL5LIB='/home/username/perl5/lib/perl5/i386-linux:/home/username/perl5/lib/perl5'
export PATH="/home/username/perl5/bin:$PATH"

  • 您实际上不需要 Iterator::DBI。该模块只是将一个迭代器对象包装在一个 DBI 语句句柄周围，它本身就是一个迭代器。所以你可以直接使用 DBI 来连接数据库。（请注意，无论哪种方式，您都将直接连接到数据库，而不是通过 sqlplus。）

    use DBI;
my $dbh = DBI->connect(...);
my $sth = $dbh->prepare($sql_query);
$sth->execute(@params);
# iterate
while (my $row = $sth->fetchrow_arrayref) {
    ...
}

  • 如果你真的想使用 Iterator::DBI 并且你无法安装模块，你可以直接复制源代码并将它放在./Iterator/DBI.pm相对于你的应用程序中。但问题是你需要绕过依赖关系。为此，我将用简单的dieor替换异常croak，并Iterator用闭包替换（有关如何执行此操作，请参阅Higher Order Perl的第 5 章）。对于初学者 Perl 程序员来说，这个选项看起来相当困难。

  • 如果你真的不能让 DBI 工作，你可以通过管道将 sqlplus 输出到一个文件并遍历该文件。

于 2013-05-07T03:30:20.933 回答