3

我们的 dbt_project.yml 文件 config-version: 1 有两个跨不同增量模型的变量，我们使用一个名为today()的宏

vars:
  start_date: '{{ today(offset_days=-1) }}'
  end_date: '2999-12-31'

在测试迁移到 dbt 0.17.2, config-version:2 时，我们面临以下问题

Running with dbt=0.17.2
Encountered an error:
Compilation Error
  Could not render {{ today(offset_days=-1) }}: 'today' is undefined

我们去年年底构建的宏。我相信 dbt 改变了宏变量的引用方式，但不知道如何解决这个问题。

-- returns current hour in YYYY-MM-DD-HH format,
-- optionally offset by N days (-N or +N) or M hours (-M or +M)
{%- macro current_hour(offset_days=0, offset_hours=0) -%}
  {%- set now = modules.datetime.datetime.now(modules.pytz.utc) -%}
  {%- set dt = now + modules.datetime.timedelta(days=offset_days, hours=offset_hours) -%}
  {{- dt.strftime("%Y-%m-%d-%H") -}}
{%- endmacro -%}

-- returns current day in YYYY-MM-DD format,
-- optionally offset by N days (-N or +N) or M hours (-M or +M)
{%- macro today(offset_days=0, offset_hours=0) -%}
  {{- current_hour(offset_days, offset_hours)[0:10] -}}
{%- endmacro -%}

-- accepts a timestamp string and returns a timestamo string
-- formatted like 'YYYY-MM-DD HH24:MI:SS.US', e.g. '2019-11-02 06:11:42.690000'
{%- macro dt_to_utc(ts_string) -%}
  TO_CHAR({{ ts_string }}::TIMESTAMPTZ, 'YYYY-MM-DD HH24:MI:SS.US')
{%- endmacro -%}
4

2 回答 2

2

我在本地尝试了这个并让它工作。除了上面要检查的内容之外，您是否还移动到与文件（文档vars）相同的models级别？dbt_project.yml

models:
  ...

vars:
  start_date: '{{ today(offset_days=-1) }}'
  end_date: '2999-12-31'

我真的很惊讶这个作品！变量最适合硬编码对象而不是动态对象。

我很好奇——为什么不直接调用宏而不是使用变量呢？

当前的：

where created_at >= {{ var('start_date') }}

建议的：

where created_at >= {{ today(offset_days=-1) }}

话虽如此，我的蜘蛛侠感觉在这里有点刺痛——这段代码使你的 dbt 项目非幂等——如果你的 dbt 生产运行连续几天停止，这个过滤器会导致数据丢失。

通常我们会避免这样的模式。相反，我们使用我们现有的模型版本来构建任何截止日期——您可以在此处查看更多示例。

于 2020-09-01T13:17:53.430 回答
0

嗯，只是首先想到的一些基础知识，因为我在迁移到 0.17.2 时没有进行所有这些更改并且遇到了一些类似的问题：

  1. 您是否在 中列出您的宏路径dbt_project.yml？

    前任。macro-paths: ["macros"]

  2. 我假设你添加config-version: 2到你的dbt_project.yml?

  3. 试试双引号？ "{{ today(offset_days=-1) }}"

可选：您是否构建了宏“schema.yml”

于 2020-09-01T13:17:38.577 回答