问题标签 [snowflake-connector]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
47 浏览

python - 雪花复制到 Python 雪花连接器中没有错误的拒绝文件

我正在使用 Python Snowflake Connector 将 JSON 文件放入 Snowflake Stage,然后 COPY INTO 将 JSON 插入表中。

这是我的代码:

我的代码成功执行,但我在 Snowflake 中注意到该文件被拒绝(单独的问题)。

在 Snowflake Python 连接器中,在游标执行语句上,有没有办法让它返回错误并使用它来验证它是否成功完成?

没有它,它基本上是默默地失败。我能想到的唯一另一种方法是在事后查询表以查看它是否有数据,但如果表没有事先被截断,这可能并不总是有帮助。

0 投票
2 回答
56 浏览

snowflake-cloud-data-platform - 如果雪花的表 2 中存在,如何在表 1 中将这些列的默认值动态设置为“NULL”

我在 Snowflake 中有一个表,profile并且exclusion想要按原样提取profile_idprofile_name同时按此列存在于排除表中的方式提取。transaction_count'null'

我想为配置文件表中的所有列动态地执行此操作,因为表中配置文件表的列名称exclusion将根据业务需求而变化。

示例表:

轮廓:

profile_id profile_name 交易计数
1 普里亚 3

排除:

表名 列名
轮廓 交易计数

这可以在 SQL 中完成吗?还是在存储过程中?

0 投票
1 回答
43 浏览

python - AttributeError:“SnowflakeCursor”对象没有属性“形状”

有没有办法使用带有雪花的“pd.read_sql_query”?

我正在尝试在 pandas 数据框中读取我的雪花查询,但是我收到一个“属性错误”,说明“SnowflakeCursor”对象没有属性“形状”(下面的代码)......

雪花 python 连接器有效。fetch_pandas_all() 有效。一旦我尝试将查询作为熊猫数据框读取,它就会中断。

一旦我尝试使用熊猫进行操作,我就会遇到错误......

0 投票
1 回答
43 浏览

python - Snowflake Python 连接器:显示 PUT/COPY 命令的进度条

我目前正在使用Snowflake Python connector (2.6.2)将数据从 onPremise 服务器移动到 Snowflake。我的文件很大,所以我不使用write_pandas(),我更喜欢使用PUT命令将镶木地板文件放在雪花内部阶段,然后使用 COPY 命令将数据从阶段移动到雪花表。

(所有同步调用)

一切正常,但我真的需要为我的用户显示一些进度条。一些数据集可能需要超过 1 小时才能上传...

当您将数据移入/移出雪花时,我看到 SnowSQL 显示了一些不错的进度条,我尝试做同样的事情。

雪花游标对象的执行方法有一些关于进度条的私有参数: _show_progress_bar甚至_get_callback

https://github.com/snowflakedb/snowflake-connector-python/blob/19474a11d5e2f71f03cff49e639fff9b0eb16ad0/src/snowflake/connector/cursor.py#L575

  • 是否可以使用带有 Snowflake Python 连接器的内置 SnowSQL 进度条?

  • Snowflake 是否返回有关实际查询进度的一些元数据?与回调函数一起使用?

谢谢

0 投票
2 回答
65 浏览

airflow - 在 Airflow 和 Snowflake 之间建立连接时出现错误“BAD REQUEST”

我是 Airflow 的新手,同时从 Airflow 连接到 Snowflake 我收到类似“BAD REQUEST”的错误我已根据约束文件https://raw.githubusercontent.com/apache/airflow/constraints-安装了所有必需的依赖项2.2.3/constraints-3.8.txt所以请任何人帮助我找到确切的问题。图片错误请求的错误

0 投票
0 回答
33 浏览

snowflake-cloud-data-platform - 在消除重复项和在 Snowlake 中使用 array_agg 函数时需要帮助

我们有 2 个表,分别称为 tbl_1、tbl_2 和 tbl_3。它包含 Vis_ID、Cust_ID 等列。在某些情况下,一个 Vis_ID 将与多个 Cust_ID 相关联。

例如,如果客户登录一个网站,每次访问该网站都会生成一个唯一的 Vis_ID。

一次访问,多个客户可以登录他们的帐户并进行个人购买。在某些情况下,访问将与多个客户 ID 相关联。如果实例超过 2 个,请在此列中附加任何其他零售客户 ID 实例。

例如有访问,该访问附加了 100 个 Cust_ID。

例如,如果 1 次访问中有 5 个 Cust_ID,对于客户 1,它应该有第一个客户 1。对于客户 2,我们需要显示第二个 Cust_ID。

对于 3rd 到 5th Cust_IDs ,我需要以逗号分隔显示这些记录。

SELECT Vis_ID, B.pg_no::INT AS pg_no, CUST_ID, dense_rank()over( PARTITION BY Vis_ID order by CUST_ID) 作为 db_name.schema_name.tbl_1 A JOIN db_name.schema_name.tbl_2 B ON B.id_column = A.id_column 的排名JOIN db_name.schema_name.tbl_3 C ON CAST(C.xid as VARCHAR)= A.CUST_ID WHERE flg_col = '0' AND so_cd NOT IN ('0','1','2','3') AND DATE_COL = '2022-01-17' 和 Vis_ID='12345' ORDER BY pg_no

以下重复结果:

最终结果应显示如下。

我还希望结果按 pg_no 排序

请指导。

0 投票
1 回答
32 浏览

snowflake-cloud-data-platform - 雪花输出连接器 - Tableau-CRM

我正在尝试使用 Salesforce Analytics (Tableau-CRM) Snowflake 输出连接器,但从 Snowflake 收到以下错误。 SQL access control error: Insufficient privileges to operate on table stage 'TEST_NZ_EMP'当 JDBC 3.12.2 连接器运行以下命令时。`

该帐户已获得以下权限,使用本文获取说明https://www.snowflake.com/blog/integrating-salesforce-data-with-snowflake-using-tableau-crm-sync-out/

关于可能需要哪些其他许可的任何建议?谢谢

0 投票
1 回答
33 浏览

powerbi - PowerBI 雪花连接器错误地使用“,”作为小数分隔符

将 SnowFlake 连接器用于 PowerBI 时,PowerBI 无法正确生成 Snowflake sql 查询。它是使用“,”而不是“。”作为小数分隔符生成的。

我有一个雪花表,其中包含(除其他外):

  1. 时间戳:ENQUEUEDTIMEUTC
  2. 啤酒温度:BEER_TEMPERATURE

我尝试显示对应于最高啤酒温度的时刻。当不止一个时刻存在时,我想要最早的时刻。

我所做的:

  • card可视化ENQUEUEDTIME
  • 过滤视觉:Top N过滤器->顶部1BEER_TEMPERATURE

出了什么问题:

生成此查询时,PowerBI 错误地传递了一个“,”来表示该值。查询变为:

在此处输入图像描述

此查询似乎在“,”上失败。它产生以下错误消息:

SQL 编译错误:第 19 行位置 42 的语法错误意外 ','。位置 43 处的第 19 行语法错误意外“826941”。第 19 行第 59 位的语法错误意外')'。

15.83 的值是啤酒温度的正确值。

如何将“,”更改为“。” 在 PowerBI 发送到雪花的查询中?

0 投票
0 回答
22 浏览

single-sign-on - Okta scim 用户自动提供用户失败

我配置了 okta 雪花 SSO。我也分配了用户。我配置了 scim,它具有创建用户、停用用户、同步密码的权限。配置 scim 后,现有用户出现错误 将用户自动配置到应用程序雪花失败。创建用户时出错。冲突。远程服务器报告错误。用户以给定的用户名存在。当我将应用程序分配给具有相同用户名的现有用户时,也会发生同样的事情。有什么办法可以修复它还是最好删除scim。

0 投票
1 回答
28 浏览

python-3.x - 无法初始化雪花数据源

我正在尝试使用“great_expectations”库访问雪花数据源。

以下是我到目前为止所尝试的:

在执行上述代码之前,我启动了 great_expectation:

但我收到以下错误:

我究竟做错了什么?