0

我需要从数据仓库中的不同表中提取大量数据，例如 600-700 个变量……现在原始形式的数据集将轻松触及 150 gigs - 79 MM 行，出于分析目的，我只需要一百万行...如何通过对行进行简单的随机抽样，直接从仓库中使用 proc sql 提取数据。

下面的代码不起作用，因为 oracle 不支持 ranuni

    proc sql outobs =1000000;
    select * from connection to oracle(
    select * from tbl1 order by ranuni(12345);
    quit;

你建议我怎么做

4

2 回答 2

2

使用 DBMS_RANDOM 包对记录进行排序，然后使用行限制子句来限制所需的样本大小

dbms_random.value 函数为表中的所有行获取一个介于 0 和 1 之间的随机数，我们按照随机值的升序排序。

以下是如何生成您确定的样本集：

    SELECT
    *
FROM
    (
        SELECT
            *
        FROM
            tbl1
        ORDER BY dbms_random.value
    )
FETCH FIRST 1000000 ROWS ONLY;

为了演示示例模式表emp，我们采样了 4 条记录：

   SCOTT@DEV> SELECT
  2      empno,
  3      rnd_val
  4  FROM
  5      (
  6          SELECT
  7              empno,
  8              dbms_random.value rnd_val
  9          FROM
 10              emp
 11          ORDER BY rnd_val
 12      )
 13  FETCH FIRST 4 ROWS ONLY;
EMPNO  RND_VAL
7698   0.06857749035643605682648168347885993709
7934   0.07529612360785920635181751566833986766
7902   0.13618520865865754766175030040204331697
7654   0.14056380246495282237607922497308953768


SCOTT@DEV> SELECT
  2      empno,
  3      rnd_val
  4  FROM
  5      (
  6          SELECT
  7              empno,
  8              dbms_random.value rnd_val
  9          FROM
 10              emp
 11          ORDER BY rnd_val
 12      )
 13  FETCH FIRST 4 ROWS ONLY;
EMPNO  RND_VAL
7839   0.00430658806761508024693197916281775492
7499   0.02188116061148367312927392115186317884
7782   0.10606515700372416131060633064729870016
7788   0.27865276349549877512032787966777990909

对于上面的示例，请注意empno在 SQL*Plus 命令的执行过程中发生了显着的变化。

性能可能是您描述的行数的问题。

编辑：

对于 150 gigs - 79 MM 的桌子大小，任何排序都会很痛苦。

如果表有一个基于递增 1 的序列的代理键，我们可以采用基于该键选择每 n 条记录的方法。

例如

    --scenario n = 3000

 FROM
    tbl1
WHERE
    mod(table_id, 3000) = 0;

这种方法不会使用索引（除非创建了基于函数的索引），但至少我们不会对这种大小的数据集执行排序。

我对具有近 8000 万条记录的表执行了解释计划，并且它确实执行了全表扫描（条件强制执行此操作而没有基于函数的索引）但这看起来是站得住脚的。

于 2017-08-05T07:23:58.300 回答
0

发布的答案或评论都没有帮助我的事业，它可以但我们有 87 MM 行

现在我想在 sas 的帮助下得到答案：这就是我所做的：它有效。谢谢大家！

    libname dwh path username pwd;
    proc sql;
    create table sample as
    (select 
     <all the variables>, ranuni(any arbitrary seed)
     from dwh.<all the tables>
     <bunch of where conditions goes here>);
     quit);
于 2017-08-06T17:12:10.867 回答