问题标签 [pandas-to-sql]

我需要将一些新数据附加到雪花上的现有表中。我sqlalchemy与 pandas 数据框一起用作引擎to_sql()。这是导入和脚本：

我得到的错误如下：

ProgrammingError: (snowflake.connector.errors.ProgrammingError) 090105 (22000): 无法执行 CREATE

桌子。此会话没有当前数据库。调用“使用数据库”，或使用限定名称。[SQL：

创建表“公共”。“SURVEY_METADATA_COLUMN_NAMES”（

调查 ID 整数，

调查列名称文本）

]

连接如下：

我想将数据从 Pandas DataFrame 添加到 SQL。我曾尝试使用.tosql()，但如果我使用if_exists='append', index = True它，即使已经存在具有相同索引的行也会添加。

如果索引不存在，有谁知道如何添加数据，如果已经存在相同的索引，则替换现有数据。

这是我的代码：

这是我要添加的示例数据：https ://jpst.it/2nFvu

提前致谢。

我正在使用 Pandas to_sql 进行数据库插入，以将数百万行移动到 sqlalchemy 中。我创建了一个只有 4 行的小型测试 csv，以便我确切知道文件中的数据。

这是csv格式

我的数据库表是用完全相同的列名定义的。

这似乎应该可以工作，但是我不断收到以下 TypeError 说操作模式 +“。” + name 不支持 str + int

我明白这个错误是什么意思。但是，我不明白为什么模式或名称会导致问题，因为所有列名显然都是字符串。任何帮助表示赞赏。

我正在使用 pymysql to_sql 函数从 python 向 mysql 写入表。我有 1000 行 200 列。

连接mysql的查询如下：

我收到以下错误：

我已将列 dtypes 更改为 string 仍然超出错误。请帮我解决这个错误。

我正在尝试保存如下表。在这里，我提供了一些带有创建表查询的列。在保存时创建表时出现错误。CREATE TABLE dbname.table 名称（ 08:00:00TEXT， 08:08:00TEXT， 08:16:00TEXT， 08:24:00TEXT， 08:32:00TEXT， 08:40:00TEXT， 08:48:00TEXT， 08:56:00TEXT， 09:04:00TEXT， 09:12:00TEXT， 09:20:00TEXT， 09:28:00TEXT）

我正在尝试加快 pandas .to_sql()函数的速度，因为目前将 22 列和 100K 行的表转储到 MS SQL Server Db 需要大约 30 分钟。我试过使用method='multi'和chunksize=1000（我读过的是 sql server 的最大值），但得到以下错误，错误中有一堆?s，我的数据在[parameters:错误部分：

这是我正在使用的代码：

关于这里发生的事情或加快速度的其他替代方法的任何想法？

我必须将 pandas 数据框写入 PostgreSQL 表。在这里您可以找到一段代码：

我遇到此错误消息：

如您所见，数据框中没有字典。但是，实际上在 sqlalchemy 生成的插入命令中有一个 dict。

如果我设置 method=None，则代码可以完美运行。但是，随着记录数量的增加，性能会下降。

我该如何解决这个问题？谢谢！

我正在尝试从我的数据库中获取数据并尝试将其写入另一个表，但由于某种原因，dataframe.to_sql 会引发错误：

在花了几天时间寻找信息但没有找到任何关于它的信息之后，我在这里发布了一个问题，并且还没有得到任何地方进行更改。

我有一个 cronjob，它每 30 分钟启动一个带有非常简单的 python3 脚本的 Docker 容器（请参阅下面的日志），它收集（通过 API 请求）每种语言的前 100 个 Twitch 流。API 响应使用 Pandas 处理，最后使用 Pandas to_sql() 函数存储在 AWS RDS 上托管的 MariaDB 中。

一切正常，数据已存储并可访问。一切都是正确的。但完全随机，脚本在 to_sql() 步骤上失败。

让我解释一下我的 .log 文件（如下）：您将在晚上 20:30:04 看到容器启动，发出 API 请求，创建数据帧，在 RDS DB 上转储，并且作业正常结束（几秒钟后）。然后，哦，惊喜！下一个捕获，在晚上 21:00:04 转储到 RDS DB 失败。

然后，在几个小时没有工作后，它会在下午 23:30:04 再次正确捕获数据并存储信息。直到现在。这种情况每天发生一次或两次，完全随机。

更多信息：我正在与 MariaDB 本地数据库并行运行相同的 python 脚本，并且一切正常。我还检查了数据的完整性，以确保没有错误

有人可以告诉我可能发生的事情吗？谢谢！

这里的日志序列：

这里是python脚本

Pandaspd.to_sql()函数有参数if_exists='replace'，它删除表并插入给定的DataFrame. 但是我要替换的表是view. 有没有办法替换表并保留视图而不必删除和重新创建它？

由于如果列是有序字典，我不能直接执行 to_sql，因此我希望能够检测到它，然后将其转换为 json。