问题标签 [pandas-to-sql]

DatabaseError: ORA-00904: "DAT_ULT_ALT": invalid identifier当我尝试使用带有 SQL Alchemy 引擎的 pandas 中的 to_sql 将日期时间插入 Oracle 中的时间戳时，我得到了。我的代码：

此代码适用于“日期”类型的字段，但不适用于“时间戳”类型的字段。你知道我需要做什么来将 dat_ult_alt 转换为时间戳吗？

我正在使用 to_sql 将表附加到 Oracle 中。但是，我收到以下错误

我试图为表中的日期列定义列类型

然后将其作为参数传递给 to_sql

但我仍然遇到同样的错误。我读到它可能是 NLS_DATE_FORMAT，但我不确定如何解决这个问题

AttributeError：“psycopg2.extensions.cursor”对象没有属性“fast_executemany”

to_sql() 太慢了。所以试图解决这个问题。但是当我运行以下代码时，我得到了：-

AttributeError：“psycopg2.extensions.cursor”对象没有属性“fast_executemany”

Dask 没有像 pandas 这样的 df.to_sql() ，所以我试图复制该功能并使用该map_partitions方法创建一个 sql 表。这是我的代码：

这将返回我的 dask 数据框对象，但是当我查看我的 psql 服务器时，没有新表......这里出了什么问题？

更新 仍然无法让它工作，但由于独立问题。后续问题：重复键值违反唯一约束 - 尝试从 dask 数据帧创建 sql 表时出现 postgres 错误

问题

我想使用 pandas to_sql将数据框写入 MYSQL 表。但是，我的连接需要 SSH。

我试过的

我有一个成功的连接来使用 pymysql 执行查询，但是能够直接使用像 to_sql 这样的函数将使我的生活更容易能够直接推送这样的数据。有关我正在使用的代码，请参见下文。

也许还有别的？

我正在考虑将数据框转换为 CSV 文件，然后将其导入数据库。如果您有任何线索如何在 SSH 中使用 to_sql 之类的东西，请告诉我。

从这个问题开始，当我尝试从具有多个分区的 dask.dataframe 创建一个 postgresql 表时，我收到以下错误：

您可以使用以下代码重新创建错误：

如果 npartitions 设置为 1，则代码不会产生错误。所以我猜这与 postgres 无法处理写入同一个 sql 表的并行请求有关......？我怎样才能解决这个问题？

我正在尝试使用 .csv 文件中的任何新行更新我的数据库中的表，该文件仅包含 2 列，并以逗号作为分隔符。

但是，这些列中的每一列都包含许多额外的逗号（以及双引号、单引号、空格等）。这两列都是数据类型 TEXT。

以下是每列中文本类型的示例：

第 1 列（命名：文件名） 注意：全文中出现以下内容：,（逗号）、"、'、""（连续双引号）、''（连续单引号）

DOH_cumulative_text_files游泳池Spas_52-60-1632726_6West Beach Cottages_13354 Gulf Boulevard_Madeira Beach_20181219_Inspection.69.pdf.txt

第 2 列（名称：内容）佛罗里达州卫生局县卫生局公共泳池和洗浴场所检查报告**** DowningBK 12/20/2018 4:01:21 PM ****1 of 2 设施信息许可证号： 52-60-1632726 设施名称：6West Beach Cottages 地址：13354 Gulf Boulevard City，邮编：Madeira Beach33708

值得注意的是，第 2 列中的文本字符串总是大约 4-6k 个字符长，包括空格。

我尝试更改创建这些 .csv 文件的脚本以使用文本字符串中从未出现过的分隔符（即“~”），但这样做会导致相同的错误“pandas.errors.ParserError: Error tokenizing数据。C 错误：第 3 行中应有 1 个字段，看到 2"。

.csv这是从多个.txt文件创建的代码：

这是我用来上传到数据库的代码：（我已经编写了这样的代码，以便我的数据库中的表不断地从.csv目录中的任何文件中导入任何新行。）

我尝试将 read_csv 代码更改为以下代码，但仍然得到相同的错误“pandas.errors.ParserError：错误标记数据。C 错误：第 3 行中应有 1 个字段，看到 4”：

我已经尝试过 pandas 中的“c”和“python”引擎。但是当我使用 python 引擎时，我得到一个空字节错误。

我尝试了不同的 na_values 和不同的引用值但没有成功。我应该如何处理 read_csv 行或 to_sql 行来完成这项工作？

我正在尝试连接 postgresql 服务器并将一些数据帧插入到表中，这是我的代码

但我得到这个错误

但我可以从表中读取数据。我不知道为什么会失败。

我正在尝试将数据框保存到使用 Windows 身份验证的 MS SQL。我试过使用engine, engine.connect()，engine.raw_connection()它们都抛出错误： 'Engine' object has no attribute 'cursor', 'Connection' object has no attribute 'cursor', 和Execution failed on sql 'SELECT name FROM sqlite_master WHERE type='table' AND name=?;': ...。

我正在用 Pandas 和 Postgres 做很多 ETL。我有大量空闲连接，其中许多都标有COMMIT和ROLLBACK，我不确定如何防止长时间处于空闲状态而不是关闭。我用来写入数据库的主要代码是使用 pandas to_sql：

我知道这绝对不是 PostgreSQL 的最佳实践，我应该做一些事情，比如将参数传递给存储过程或函数或其他东西，但这就是我们设置从非 Postgres 数据库/数据源获取 data_frames 并上传到 Postgres 的方式.

我的 pgAdmin 看起来像这样：

有人可以指出我将来如何避免这么多空闲连接的正确方向吗？我们的一些数据库连接是长期存在的，因为它们是连续的“批处理”过程。但似乎一些一次性事件使连接处于打开状态和空闲状态。