问题标签 [snowflake-connector]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
140 浏览

python - 如何使用 OAuth2 将 SQLAlchemy 连接到 Snowflake 数据库?

我需要使用 SQLAlchemy 连接到 Snowflake,但诀窍是,我需要使用 OAuth2 进行身份验证。Snowflake 文档仅描述了使用用户名和密码进行连接,这不能用于我正在构建的解决方案中。我可以使用 Snowflake 的 python 连接器进行身份验证,但我看不到如何将它与 SQLAlchemy 粘合的简单路径。在为此编写自定义界面之前,我想知道是否有现成的解决方案。

0 投票
0 回答
31 浏览

snowflake-cloud-data-platform - 雪花卡夫卡连接器集群分布式连接器服务断开连接

错误:这已断开服务器与集群的连接并停止了分布式连接器服务。请帮忙

0 投票
1 回答
82 浏览

python - 有没有办法在非 Airflow 脚本中本地运行 SnowflakeOperator、SnowflakeHook?

我有一些使用 SnowflakeOperator 和 SnowflakeHook 的 DAG。他们都使用snowflake_connection输入连接到雪花,我保存Admin > Connections在 Airflow 下。

虽然这种安排在 Airflow 环境中有效,但我想在我的定位机器中将代码作为常规脚本运行。但它无法访问snowflake_connection我保存在 Airflow 中的那个。有什么解决方法吗?

有没有办法可以直接提供连接字符串或用户名/密码SnowflakeHookSnowflakeOperator建立数据库连接?

0 投票
0 回答
96 浏览

python-3.x - Lambda Docker 映像未运行

我在尝试安装 Snowflake python 连接器时度过了一段非常糟糕的时光。这有点令人沮丧,但我终于设法通过使用完整的 Ubuntu 基础 Docker 映像来安装它。不过,我现在无法弄清楚如何使 AWS lambda 包装器工作。

项目结构。

入口.sh

Dockerfile

应用程序.py

命令

和错误:

0 投票
1 回答
232 浏览

apache-spark - Py4JJavaError 调用 o37.load 时出错。: net.snowflake.client.jdbc.SnowflakeSQLException: JDBC驱动遇到通信错误

我正在尝试连接(PySpark + Snowflake)不断收到错误。

我正在使用 PySpark 3.1、JDBC 和 Spark_Snowflake jar 文件也放置在 Classpath 中。不知道为什么我收到以下错误。

代码:

错误:

Py4JJavaError:调用 o37.load 时出错。:net.snowflake.client.jdbc.SnowflakeSQLException:JDBC驱动遇到通信错误。消息:HTTP 请求遇到异常:sun.security.validator.ValidatorException:未找到受信任的证书。在 net.snowflake.client.jdbc.RestRequest.execute(RestRequest.java:284) 在 net.snowflake.client.core.HttpUtil.executeRequestInternal(HttpUtil.java:639) 在 net.snowflake.client.core.HttpUtil.executeRequest (HttpUtil.java:584) 在 net.snowflake.client.core.HttpUtil.executeGeneralRequest(HttpUtil.java:551) 在 net.snowflake.client.core.SessionUtil.newSession(SessionUtil.java:587) 在 net.snowflake。 client.core.SessionUtil.openSession(SessionUtil.java:285) 在 net.snowflake.client.core.SFSession.open(SFSession.java:446) 在 net.snowflake.client.jdbc.DefaultSFConnectionHandler。

0 投票
0 回答
32 浏览

powerpivot - 错误 [42000] SQL 编译错误:位置 7 处的语法错误第 1 行意外

我遇到错误

错误 [42000] SQL 编译错误:位置 7 处的语法错误第 1 行意外

尝试通过 Power Pivot 预览和筛选表时。我可以从 Excel 中预览和筛选,但不能从 Power Pivot 中预览和筛选。

任何人都知道可能是什么原因以及该怎么做?

0 投票
0 回答
145 浏览

python - 适用于 Python 的雪花连接器 - 在 Lambda 函数中不起作用

更新- 我已经解决了“无法找到雪花连接器”的问题,但现在看来,当我构建 Lambda 函数时,一些依赖项(连接器所依赖的)无法解决,即使我可以看到它们在我的虚拟环境中。

运行 PythonPipBuilder:ResolveDependencies

构建失败错误:PythonPipBuilder:ResolveDependencies - {cffi==1.15.0(wheel), cryptography==3.4.8(wheel)} SAM 构建失败:命令未成功退出,退出代码:1 170 失败:命令成功未成功退出,退出代码:1

任何想法为什么当它可以解析我的虚拟环境中的其他模块时它无法解析这两个?

原始问题- 我在 Pycharm 工作并试图从 lambda 连接到雪花。我已经在项目的虚拟环境中安装了雪花连接器。我有其他包可以从同一个 lambda 访问而不会出现问题。当我尝试使用这个时,我得到了这个错误,表明它找不到包。

{“errorMessage”:“无法导入模块'app':没有名为'snowflake.connector'的模块;'snowflake'不是包”,“errorType”:“Runtime.ImportModuleError”,“stackTrace”:[]}

我尝试将 python 文件添加到项目的根目录,并尝试了相同的代码,它能够毫无问题地连接,这告诉我雪花连接器安装正确,而 lambda 只是找不到那个包。

谁能帮我解决这个问题?

0 投票
1 回答
95 浏览

snowflake-cloud-data-platform - 在 Snowflake UI 中创建环境变量文件

如何在 Snowflake UI 中指定环境变量,这样当我将代码从一个租户部署到另一个租户时,我不需要更新代码中的 environment 关键字;我正在使用 AWS Codecommit。Like - 创建表 database$env.schema.table;

AWS Codecommit 中将有一个 .sql 文件,在该文件中的某个地方我们需要提及一个需要获取 Dev、Qa 和 Prod 的环境变量。.sql 文件中的代码需要通过 AWS Codepipeline 执行,然后它应该反映在 Snowflake UI 中。

非常感谢 !

0 投票
1 回答
77 浏览

pandas - 生成多个文件表结构并创建表

我正在尝试通过 Python 为 Snowflake 生成多个文件表结构

我在目录中有文件列表,我想从文件中读取数据,使用文件名在雪花中动态创建表。

以下是我到目前为止尝试过的

我得到以下错误

我检查了雪花的权限问题,没有发现任何问题。

有人可以帮忙解决这个错误吗

0 投票
1 回答
31 浏览

snowflake-cloud-data-platform - Snowflake Stitch 连接引发 403 错误

我正在尝试将雪花与针迹连接,我正在尝试使用针迹将谷歌表格数据获取到雪花。我严格遵循文档,但连接退出并出现 403 错误。请帮我解决这个问题