问题标签 [pandasql]

我需要运行 SQL (Redshift) 查询，我目前正在使用 jupyter / ipython notebook。我有 sqlalchemy-redshift。

其中 'extra_ctx' 是 redshift 表中包含 json 字符串的列。

我知道我的查询有效，因为它在我直接通过 SQL Workbench 查询我们的数据库时运行。当我尝试在笔记本中运行它时，我收到以下错误：

<-- 还有一点 ^ 指向 extra_ctx 上的“e”。

关于可能导致问题的任何想法？谢谢你的帮助。

查询 pandas DataFrame 后，我想在查询中获取所选索引之前的 3 个条目。

下面的代码有效，但我认为它很脏而且效率不高，我只能想象有一种更好的方法可以用 Pandas 来做这件事。

有人可以帮助我吗？

上面代码的示例输出：

我的另一个问题是，如果可以在查询中使用“shift”和“Pandas Language”，而不是使用 Python。

谢谢您的帮助！

有没有办法对不是的值使用ffill方法NaN？

我NaN在我的数据框中，但我已经添加了这些NaN使用

所以这就是我的DataFrame，df看起来像

我正在尝试使用 填充这些NaN，ffill因此它们由最后一个已知值填充。

fill = df.fillna(method='ffill', inplace = True)

这没有什么区别，也试过Na代替NaN

我正在尝试更改数据库中的表。但是我发现使用 Pandas 提供的 to_sql 方法很困难。我的price_data数据框看起来像这样：

初始数据框（作为数据库中的行）：

用于更改数据的代码：

这里的最终目标是修改初始数据帧（将零值转换为 Nan，然后对其进行插值），并将其保存回数据库中。结果应该是这样的（除了相同的id）：

期望的输出：

如果您专门查看该close_price列，您可以看到 0 值被分配了 90.7350

我当前的解决方案是附加数据行，这会导致重复输入，如下所示：

实际输出：

最后，我将不得不执行另一个查询来删除重复的行（基于 price_date）

我知道我可以更改要替换if_exists的参数，但这会删除我的数据库表的其余部分。基本上我想在不同的 's上多次执行这个查询symbol_id

无论如何修改一个子集（在这种情况下，只有 3 行）而不删除我表中的其余数据？该解决方案可以修改现有行（保持不变id）或删除旧行，并创建不带零的新行。我只是想在没有额外删除重复查询的情况下完成此操作。

我是 python 和使用熊猫的新手。

我想查询一个数据框并过滤其中一列不是的行NaN。

我试过了：

但 a 填充有trueor false。试过这个

但正如我预期的那样给出了错误

样本数据：

我想过滤标签不是 NaN 的数据

预期输出：

嗨，我正在使用下面的代码来访问 bigquery

它给了我错误

pandas.io.gbq.GenericGBQException：原因：accessDenied，消息：访问被拒绝：项目 stone-outpost-636：用户 xyz@gmail.com 在项目 stone-outpost-636 中没有 bigquery.jobs.create 权限。

由于它使用了错误的帐户，它无法达到大查询。任何想法如何重置它并进行大查询询问我正确的帐户权限。因为这开始发生，因为我错误地对我的私人谷歌账户进行了游戏许可。有什么办法重置吗？

我看到过去也有类似的问题，但不幸的是我在那里找不到解决方案。我对 Python 比较陌生。

我有一个熊猫数据框，我想使用 SQLalchemy dataframe.to_sql() 将其写入 SQL Server

数据框具有完全相同的列数，列名与 sql 表中的相同。我无法指出此错误背后的原因。另外，我注意到默认情况下它也导出数据框的索引。那么，我们是否还需要在 sql 表中添加一个对应于索引的列。我也试过了，但它仍然给出同样的错误。

这是我正在运行的代码：

我得到的错误：

问题

1. 这是数据类型转换的错误还是 Python 和 SQLServer 之间的一些连接问题？
2. 我怎么知道哪个变量是这个麻烦的根源？反复试验是一种方法，但如果数据框中的变量太多怎么办？

请指导或指导我到相关线程，因为我仍在迷宫中寻找出路。

干杯!

更新

更改了一些变量的格式后，Python 似乎运行良好，但 SQL 表仍未更新。Stackoverflow 上有一个完全相同的问题，但那里说明的解决方案（手动向 SQL 表添加一行）也没有帮助。这是新的输出：

我需要将 oracle DB 与 python 连接并将它们转换为 Dataframe。想知道有哪些简单的软件包以及如何安装它们？

我正在使用 Anaconda 3（Python 3.5.2），我尝试使用 cx_oracle 但由于依赖关系而无法安装。听说过 SQLAlchemy 有点不知道如何使用它。

我有以下数据框：

我需要按transaction_date一周的开始日期按列分组，例如对于 2017 年 1 月 23 日至 2017 年 1 月 30 日之间的所有交易，Jan-23 基本上我需要一个新列“first_day_week”来显示一周的开始日期那笔交易发生在。

我有以下数据帧

我需要按“Var”中的值对这个数据框进行分组，然后计算每个“qualified_date”和“engaged_date”列的非缺失值的数量。我可以单独为每一列执行此操作并将它们手动放入数据框中，但我正在寻找一种 gr​​oupby 方法或类似的方法，在这种方法中我可以自动找到一个新的 DF，而不是在“var”中作为索引和两列的值显示每个组的非缺失值的计数。

像这样