问题标签 [snowflake-connector]

从 Teradata 导出字节/图形数据的最佳方法是什么？对于数据迁移项目，有人可以指导我如何将数据从 teradata 导出到雪花。我正在使用 TPT 脚本和 tdload 方法，但是，它似乎不起作用。

我遵循的方法：

1. 使用 Teradata 中的 FROM_BYTES() 方法将数据从字节转换为 ASCII。但是，在摄取过程中，我无法将其恢复到原始状态。

2. 使用带有 base10/base16 的 FROM_BYTES() 方法进入所需的格式，但是，我在该过程中面临同样的问题。

下面是表结构：

Tpt脚本：

我正在尝试将 alembic 与雪花一起使用来版本控制我用于 PostgreSQL 和雪花的架构。我一直遇到这个 Unexpected 'UNIQUE' 错误。我知道这是因为它试图创建一个索引，雪花不支持的东西。这对我来说很奇怪，因为我认为 SQLAlchemy 中方言系统的目的是管理实现之间的差异，并在它不受支持时阻止它尝试创建此索引。

我按照雪花网站上的指南将方言添加到alembic，调用升级功能如下：

连接器是否工作不正常，或者我没有以正确的方式调用它？

原始查询如下：

p_no IS NOT NULL我需要通过不使用WHERE 子句中的条件来重写上述查询。所以我尝试了以下 2 个查询，但它们需要很长时间才能执行

有没有其他方法可以重写 SQL 查询？

所以我将 DAG 从气流版本 1.12.15 升级到 2.2.2 并将 python 从 3.8 降级到 3.7（因为 MWAA 不支持 python 3.8）。DAG 在之前的设置中运行良好，但在 MWAA 设置中显示此错误：

这是似乎失败的内置函数：

有我们试图在 DAG 中运行的代码：

我认为从 Python 3.8 到 3.7 的过渡导致了这个问题，但我不确定。

有没有人遇到过类似的问题？

我正在尝试在 AWS 中创建一个连接到雪花数据库的 lambda 函数。为此，我需要snowflake-connector-python[pandas]包（https://docs.snowflake.com/en/user-guide/python-connector-pandas.html），它连同它的所有依赖项的大小超过 250 MB 未压缩（大约 280兆）。这是一个问题，因为 AWS lambda 允许最多 250 MB 的依赖项（使用 AWS 层）。

包的大小非常令人惊讶，看看最大的违规者是 pyarrow（大约 80 MB）、pandas（大约 60 MB）和 numpy（大约 40 MB）的依赖项。有没有办法减小整个包的大小，只安装相关部分，从而将大小减小到 250 MB 以下？也就是说，我需要能够连接、读取和写入 Snowflake，没什么特别的。

我知道在这些情况下还有其他选择，例如容器，但是如果可能的话，我想避免这种情况。

我正在创建一个外部阶段，我希望它基于 2 个 URL。

问题 1

如何在外部阶段命令中提供 2 个 URL？可能吗？

问题 2

另外，我需要形成 URL。

我正在考虑使用一个程序。

它失败了，我无法调用该函数。我怎么称呼它？

我有一组 pyspark 代码，它们从雪花数据库中读取，然后执行多个操作，例如groupBy，、joincolumn operations like col(a) - col(b)

但是，随着转换的时间越来越长，执行似乎卡住了，无法show结果。

这是我收集的日志spark.driver.log.persistToDfs.enabled

只要我保持 pyspark 脚本运行，这个日志就会一直持续下去，重复同样的事情。

关于为什么会发生这种情况的任何想法？

注意：当我减少所需的转换量时，它能够得到show()结果。但是，当我向代码中添加更多数据转换内容时，就会发生此错误。

*由于stackoverflow的字数限制，我无法在本节中发布示例代码。将检查我如何共享一些代码

我在用烧瓶构建的网页上构建了一个简单的表单。但我希望获取用户输入并使用它查询雪花数据库（使用雪花连接器）并为用户打印输出。

我已经用 snowflake.connector 设置了一个 .py ，但我对这一切有点陌生，所以任何帮助都将不胜感激！

表格---用户输入---雪花---输出

我需要重写上面的查询，这样它应该是 ORDERED BY P_NO 并且我需要为 CATEGORY_CD 列显示不同的值。

我尝试了下面提到的逻辑，并在子查询中使用了 ORDER BY P_NO。不知道我写的逻辑是否正确。

我提到的原始查询给出了以下结果。我应该只显示 CATEGORY_CD 列的不同值，结果应该是 ORDERED BY P_NO 列。

请指导我实施正确的逻辑。提前致谢 ：）

另外，如果我需要在原始查询中添加另外几列，请指导我。我再次添加了我的原始 SQL 查询，添加了另一列。

主机名=jdbc:snowflake://y.ap-south-1.aws.snowflakecomputing.com/ 用户=密码=帐户=y.ap-south-1 数据库=DEMO_DB

仓库=COMPUTE_WH 模式=PUBLIC

这是我的connection.properties 每次我指定了错误的用户名或密码