0

Is there any workarounds for importing records ~2 million into excel from vertica database using microsoft query? I am using microsoft query tool to import data. I am successfully able to query my database for the smaller tables, larger tables(2 million records) not so much. My excel is crashing.

Anyone have any workarounds or other ideas?

Thanks.

4

1 回答 1

2

Excelguy - 我认为你应该考虑成为一名 SQL 专家......

无论您在 Excel 中使用约 200 万行做什么，我都非常确定您可以在 Vertica 中完成。我的意思是，你不会用肉眼读取数百万行，但你会对它们应用公式，对它们求和等等。

人眼可以消耗几十行 - 并且仍然可以理解它。如果您根据数据制作图表，可能还会增加一些。但就是这样。

我真的建议你探索在 SQL 中做的方法——在数据库中——无论你目前想在 Excel 中做什么；然后将结果表（几行）导出到 Excel 以供人类使用。

你会惊讶于一切工作的速度有多快，并惊讶于为你打开的新可能性......

如果您对此表示怀疑 - 您能在 Excel 中勾勒出您想要做什么吗？

干杯 -

马可

你好 Excelguy -

看过你的回答；除了 Oracle 表很大而 Vertica 表很小的情况外 - 您最好在 Vertica 中执行连接。

您可以咨询： https ://chartio.com/resources/tutorials/how-to-write-to-a-csv-file-using-oracle-sql-plus/

了解如何将 Oracle 查询的输出导出到 csv 文件。

快捷方式在这里：

启动 SqlPlus，然后执行：

    set colsep ,
    set headsep off
    set pagesize 0
    set trimspool on
    set linesize <number of columns of your Oracle table / Oracle query>
    set numwidth <longest length of your numeric literals>
    spool myoratable.csv
    SELECT * FROM myoratable;
    spool off
    exit

然后，您可以从 SqlPlus 触发，并使用该输出在 VerticaDESC myoratable 中创建一个表。myoratable（我现在不会详细介绍数据类型，因为这是一个很长的故事）。

然后，您登录到 Vertica，并myoratable根据 SqlPlus 的建议创建表。

继续这个：

    COPY myoratable
    FROM 
    LOCAL -- this only if the myoratable.csv file is not on the Vertica cluster
    '/full/path/to/your/file/myoratable.csv'
    DELIMITER ','
    DIRECT -- this writes directly to disk and does not fiddle around with Vertica memory too much
    ;

从那时起，您可以加入myoratableVertica 表。

玩得开心... Marco

于 2018-02-12T18:55:11.407 回答