问题标签 [dbt]

我使用 DBT（数据构建工具）作为数据分析的 ETL 工具。该命令 dbt test 在输出终端上的测试用例为通过/失败，但需要将此结果导出为 JSON/HTML/XML 格式以进行报告。

在这方面有什么帮助吗？

我是一个分析团队的成员，该团队最近将其数据仓库移至 Elastic Search。DW 通过 Dremio 访问。

但是，对于执行大量日常分析的分析团队而言，Elastic Search 是否是合适的数据库，我正在重新考虑。我希望我们将 DW 保存在 BigQuery/Snowflake/Redshift 之一中，并使用“dbt”工具来转换数据并将其写回数据库。

从 Elastic Search 读取数据后，我找不到类似“dbt”的工具来执行快速数据转换，而且 Dremio 还不够成熟。我想征求您对 Elastic Search 的看法，以及是否适合日常分析的数据库。

我很欣赏你的回应。

编辑：我在一家在线零售商工作。我们的数据在任何意义上都不是“大数据”。每天大约有几千个订单。我们的大部分工作都是回应来自各个团队/部门的询问。其中一些问题超出了简单的查询范围。我们必须构建定制的数据集市，其中涉及多个步骤。因此，我们需要一个工具来快速转换数据并将结果集放入数据库。一种这样的工具是“dbt”，但它不支持 Elastic Search。所以问题是是否有适合这项工作的工具，或者 Elastic Search 不适合我们的用例。

我们使用 DBT 来管理我们的数据管道。我们也使用 postgres 作为我们的数据库。我正在通过查询（不在 dbt 中）创建一些物化视图，看起来每当我们运行dbt run --full-refresh它时都会删除这些物化视图。知道为什么，以及如何不丢弃物化视图吗？

我正在尝试使用撇号旋转一列，但这在 DBT 中非常困难。有任何想法吗？我尝试了双引号，但 dbt 没有选择它，我不能在数据透视表中使用 like 语句。

pg_table_def为了从对我的用户可见的所有数据创建一个表，我尝试了：

但它会引发错误：

列“schemaname”具有不受支持的类型“name”

pg_table_def有什么方法可以从or创建表information_schema.columns？

尝试在 dbt profile.yml 文件中给出 snowfalke 的详细信息。但是一旦运行命令，即 $atom /home/myname/.dbt/profiles.yml 就会给出以下错误：/usr/bin/atom: line 190: 1705 Trace/breakpoint trap (core dumped) nohup "$ ATOM_PATH" --executed-from="$(pwd)" --pid=$$ "$@" > "$ATOM_HOME/nohup.out" 2>&1 无法移动到新命名空间：支持 PID 命名空间，支持网络命名空间，但失败：errno = 权限被拒绝

以下是我尝试过的事情：运行以下命令但仍然没有运气：1）$google-chrome --no-gpu --no-sandbox --disable-setuid-sandbox --headless --dump-dom http://www. chromestatus.com
错误：[0627/161930.251811:ERROR:udev_watcher.cc(61)] 无法启用接收 udev 事件。[0627/161932.565713:ERROR:platform_shared_memory_region_posix.cc(46)] 描述符访问模式 (0) 与预期不同 (2) [0627/161932.566251:WARNING:crash_handler_host_linux.cc(366)] 无法转换 tid - 假设崩溃线程是线程组长; syscall_supported=0 [0627/161932.769040:WARNING:crash_handler_host_linux.cc(366)] 无法翻译 tid - 假设崩溃线程是线程组领导者；syscall_supported=0 --2020-06-27 16:19:32-- https://clients2.google.com/cr/report 正在解析clients2.google.com (clients2.google.com)... 2404:6800:4009:805::200e, 172.217.174.238 正在连接到clients2.google.com (clients2.google.com)|2404:6800:4009 :805::200e|:443... [0627/161933.036124:ERROR:headless_shell.cc(399)] 渲染器异常终止。连接的。HTTP 请求已发送，等待响应... 200 OK 长度：未指定 [text/plain] 保存到：'/dev/fd/4' 0K 故障转储 ID：e870824b56e91b9f

2. $ google-chrome 错误：无法移动到新命名空间：支持 PID 命名空间，支持网络命名空间，但失败：errno = 权限被拒绝跟踪/断点陷阱（核心转储）[1772:1772:0100/000000.825375:ERROR:zygote_linux.cc (653)] 写：断管 (32) [0627/162152.831614:ERROR:nacl_helper_linux.cc(308)] NaCl 辅助进程在没有沙箱的情况下运行！您很可能需要正确配置 SUID 沙箱

任何人都可以就上述问题提出建议。

是否有一种简单的方法可以为 dbt 中为正的列编写测试？

accepted_values似乎不适用于连续变量。

我知道您可以在其中编写查询，./tests但对于这么简单的事情来说，这看起来有点过头了。

我即将开始实施 dbt ( https://docs.getdbt.com/docs/about/viewpoint ) 和 liquibase，但我发现 dbt 和 Liquibase 之间会有一个功能覆盖（如果它们没有，dbt 创建表不存在）。我想知道社区中是否有人知道如何解决这个问题。或者你能给我什么建议

谢谢

圣地亚哥

我正在尝试通过 dbt 连接到雪花，但连接失败并出现以下错误：

请有任何建议。

注意：我正在学习设置查看 udemy 视频的 dbt 连接。

下面是我的profiles.yml文件：

与 dbt 和 snowfalke 的连接成功，但尝试运行此命令时：

它给出了这个错误

错误：运行时错误找不到名为“learn_dbt”的配置文件遇到错误：运行时错误无法运行 dbt”

我是否犯了任何命令错误？