问题标签 [pandas-to-sql]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
5513 浏览

python - 将忽略熊猫数据框插入mysql

我想将整个熊猫数据框“插入忽略”到 mysql 中。有没有办法在不循环行的情况下做到这一点?

在 dataframe.to_sql 我只看到 if_exists 'append' 选项,但这仍然会在重复的唯一键上继续吗?

0 投票
1 回答
24463 浏览

python - 使用 to_sql 将数据附加到熊猫中已经存在的表中

我有以下数据框

截至目前,我正在使用下面的代码在表中插入数据,比如如果表已经存在,删除它并创建新表

但我需要的是,在不删除表的情况下,如果表已经存在,只需将数据附加到已经存在的表中,熊猫to_sql方法有什么办法吗?

0 投票
0 回答
3546 浏览

python - ('42000', '[42000] [Microsoft][SQL Server Native Client 11.0][SQL Server]将数据类型 varchar 转换为 bigint 时出错

我看到过去也有类似的问题,但不幸的是我在那里找不到解决方案。我对 Python 比较陌生。

我有一个熊猫数据框,我想使用 SQLalchemy dataframe.to_sql() 将其写入 SQL Server

数据框具有完全相同的列数,列名与 sql 表中的相同。我无法指出此错误背后的原因。另外,我注意到默认情况下它也导出数据框的索引。那么,我们是否还需要在 sql 表中添加一个对应于索引的列。我也试过了,但它仍然给出同样的错误。

这是我正在运行的代码:

我得到的错误:

问题

  1. 这是数据类型转换的错误还是 Python 和 SQLServer 之间的一些连接问题?
  2. 我怎么知道哪个变量是这个麻烦的根源?反复试验是一种方法,但如果数据框中的变量太多怎么办?

请指导或指导我到相关线程,因为我仍在迷宫中寻找出路。

干杯!

更新

更改了一些变量的格式后,Python 似乎运行良好,但 SQL 表仍未更新。Stackoverflow 上有一个完全相同的问题,但那里说明的解决方案(手动向 SQL 表添加一行)也没有帮助。这是新的输出:

0 投票
1 回答
730 浏览

python - 将 Pandas DataFrame 加载到 MS SQL localhost DB

我正在尝试借助 python 脚本将数据框“f3”加载到在 localhost 中运行的 MS SQL 服务器。这是我的代码;

导入 sqlalchemy

导入pyodbc

引擎 = sqlalchemy.create_engine("mssql+pyodbc://localhost/test_project")

f3.to_sql(“测试”,引擎)

但是,我收到一个错误,我无法弄清楚我做错了什么。有人可以帮我找出我在做什么错吗?

以下是我得到的错误;

DBAPIError: (pyodbc.Error) ('IM002', '[IM002] [Microsoft][ODBC Driver Manager] Data source name not found and no default driver specified (0) (SQLDriverConnect)')

将 DataFrame 写入 SQL 数据库中的表

0 投票
4 回答
14911 浏览

python - 使用 Python 连接到 Teradata

我正在尝试连接到 teradata 服务器并使用 python 将数据帧加载到表中。这是我的代码 -

但我收到以下错误 -

任何人都可以帮我弄清楚我的方法有什么问题吗?

0 投票
1 回答
22792 浏览

pandas - 写入 MySQL 时查询 sqlite_master 表时出现 to_sql() 错误

我有一个关于如何将数据框保存到本地 mysql 的问题。

输入此代码后,它说

我对此感到困惑。我可以查询和创建表。但我无法保存这个数据框。

0 投票
0 回答
2477 浏览

sql-server - 从 Pandas 将数据框加载到 SQL Server?

我正在尝试测试将数据帧推送到 SQL Server 的脚本。

这是我到目前为止所拥有的:

它抛出一个错误:

pandas.io.sql.DatabaseError: 执行失败 sql 'SELECT name FROM sqlite_master WHERE type='table' AND name=?;': ('42S02', "[42S02] [Microsoft][ODBC SQL Server Driver][SQL服务器]无效的对象名称'sqlite_master'。(208)(SQLExecDirectW)“)

我究竟做错了什么?

我不确定错误中的 sqllite_master 来自哪里?

游标是必需的吗?

0 投票
1 回答
369 浏览

python - 使用 python panda 模块附加到 sql 表

我正在尝试在 python 中使用 to_sql 命令附加到 SQL 表。一切正常,但如果我运行我的命令 more tahn ,它显然会附加相同的数据。我知道这可以用 if_exists='replace' 解决,但是当我这样做时,我得到以下错误。

ProgrammingError: (pyodbc.ProgrammingError) ('42000', "[42000] [Microsoft][ODBC SQL Server Driver][SQL Server]表 'table' 中的列 'AccountName' 的类型不能用作键索引中的列。(1919) (SQLExecDirectW)") [SQL: u'CREATE INDEX [ix_table_AccountName] ON table ([AccountName])']

我需要弄清楚如何,只附加表中没有的数据,删除我要附加的数据,如果它已经在表中,或者如何解决我的索引问题,这样我就可以使用 if_exists='replace '

0 投票
1 回答
10949 浏览

python - 使用 MySQL 的 Pandas 0.20.2 to_sql()

我正在尝试将数据框写入 MySQL 表,但出现(111 Connection refused)错误。

我在这里遵循了公认的答案: Writing to MySQL database with pandas using SQLAlchemy, to_sql

答案代码:

...并且该create_engine()行没有错误地工作,但该to_sql()行因以下错误而失败:

我如何连接到我的 MySQL 数据库/表并不真正相关,所以完全不同的答案值得赞赏,但鉴于pandas 0.20.2 中 MySQL 'flavor' 的弃用,将数据帧写入 MySQL 的正确方法是什么?

0 投票
2 回答
4103 浏览

python - 在 python 中使用 to_sql 函数将数据帧插入 Sql-server DB 时出错

我正在尝试使用 dataframe.to_sql 函数将 pandas 数据帧 df 插入 SQL Server DB。但我得到以下错误:

源代码:

错误:

文件“C:\Users\Arvinth\sqlalchemy\engine\default.py”,第 470 行,在 do_execute cursor.execute(语句,参数)

sqlalchemy.exc.ProgrammingError: (pyodbc.ProgrammingError) ('42000', "[42000] [Microsoft][ODBC SQL Server Driver][SQL Server]'INTEGER' 附近的语法不正确。(102) (SQLExecDirectW)") [SQL : '\nCREATE TABLE [[Tableau].[dbo].[Test table]] (\n\t[A] INTEGER NULL, \n\t[B] INTEGER NULL, \n\t[C] INTEGER NULL\ n)\n\n']

示例数据框:

任何人都可以请帮助解决这个问题。