问题标签 [snowflake-connector]

我正在通过snowflake-connector. 中的列df有(,)在里面。我正在尝试用df.to_sql(table, con=engine, index=False, if_exists='replace', method=pd_writer).

1. 这是动态创建表。
2. 将dfin parquet 文件转换PUT为 S3 存储桶。
3. 尝试对COPYparquet 数据进行处理，table但出现异常。

复制 sql -

错误 -

这是因为语法$1:Year(1)。我无法更改列名，其他解决方案是什么？

使用这个问题的解决方案：How to read a list of parquet files from S3 as a pandas dataframe using pyarrow? ，我正在导入以下内容，以便将数据从 s3 存储桶复制到雪花表：

当我尝试使用“write_pandas”方法时，出现错误：

这是我的代码：

我需要做什么来添加这个必需的参数？还是有不同的解决方案？

我正在尝试将我从 json 响应创建的 df 提取到现有表中（该表当前为空，因为我似乎无法让它工作）

df 如下表所示：

但我看到以下错误：

snowflake.connector.errors.ProgrammingError: 000904 (42000): SQL 编译错误: 位置 94 处的错误行 1 无效标识符 '"clicks_affiliated"'

雪花中的列名与我的数据框中的列匹配。

这是我的代码：

我使用下面的代码将数据从 Snowflake 加载到 Pandas 数据帧很长时间，直到我更新了 snowflake-connector-python==2.7.0 和 pyarrow==5.0.0

一切都按预期工作，但是在更新到提到的版本之后，数据帧是用非唯一的数据帧索引生成的。

使用 pyarrow==3.0.0 和 snowflake-connector-python==2.4.6 （我不确定这个更改/错误发生在哪个版本），数据框如下所示

当您尝试使用非唯一索引执行 pd.concat 数据帧时会出现问题，它会失败并显示pandas.errors.InvalidIndexError: Reindexing only valid with uniquely valued Index objects

我正在尝试将熊猫数据框加载到雪花表中。

这是我的 SF 表 DDL：

这是我的数据框的结构：

根据 Snowflake 的文档，我编写了以下代码来帮助我将数据框写入我的数据库：

我遇到的问题如下：

我已经使用此功能来摄取其他数据帧，并且过去没有任何问题（所以我知道我的连接/连接器正在工作） - 可能我的数据有问题或者我如何在 Snowflake 中设置表格? 我有一些 NaN 值..这可能是个问题吗？

以下是数据的摘录：

我还检查了其他 SO 答案，例如此处和此处，但它们与我的问题没有直接关系。我对 Snowflake 和 SQL 比较陌生，所以任何解决这个问题的帮助将不胜感激！

工作节点分布式连接器日志：

主节点：Server.log：

我有一个类，其中包含连接到雪花（使用雪花连接器）并执行数据清理的函数。我的想法是创建多个函数来进行单独的数据清理。

我在名为“self.calls”的名为“work_data”的函数中定义了一个变量，并将该函数定义为熊猫数据框，我想在另一个函数中访问该数据框。

这是我目前的流程：

我首先在init函数中初始化了变量，现在将其设为空白列表。在我运行“work_data”函数并尝试运行“finalized_data”函数之后..但我得到的是空白列表而不是 panadas 数据框。

到目前为止，这是我的代码：

我是 Snowflake 的新手，正在尝试设置一个Snowflake 连接器以从 Kafka 中提取数据并将其推送到 Snowflake。我已经成功设置了管道，并且可以看到数据被转储到雪花表中。作为检查故障排除工作原理的一部分（如此处所述），我尝试使用 GET commnad 通过 SnowSQL 将文件从表阶段下载到我的 AWS EC2 实例。这是我正在使用的命令：

get @KAFKA_DUMP.CDC_DATA.%MSKSNOWFLAKETESTTOPIC file:///home/ec2-user/;

当我运行它时，我收到以下错误：

我尝试在谷歌上搜索此错误，但无法找到任何特定于 Snowflake GET 的内容。希望在这里获得一些帮助。

正在使用的SnowSQL 版本：1.2.21
操作系统： Amazon Linux 2

错误日志：

我正在尝试使用 spark 3.0 从雪花中读取数据。

我的雪花包版本是：

"net.snowflake:spark-snowflake_2.12:2.8.4-spark_3.0," "net.snowflake:snowflake-jdbc:3.12.17"

任何快速指针可能是导致此错误的原因？

我在 Snowflake 中创建了一个集成并获得了一个客户端 ID，当我尝试获取一个 oauth 令牌时，它给了我一个错误，指出“无效的同意请求”。但我的用户名和密码是正确的。请建议我该怎么办？