问题标签 [ibis]

Ibis 项目网站上的发行说明页面没有描述 Ibis 的最新更新（从 1.4 到 2.0）。有哪些变化？

早上好，

我需要检查一个项目是否存在于 MySQL 表中。如果是这样，我需要检查数据是否需要使用新信息进行更新。如果它不存在，我需要创建它。

我知道如何 1) 使用 Ibis 检查项目是否存在，以及 2) 如果项目不存在，则使用 df.to_sql 在表中创建一个新行。我无法弄清楚如何使用 Ibis 使用新信息插入或更新现有行。

目前，我正在使用 Ibis 进行所有查询，必要时使用 SQLAlchemy 更新数据，并使用 Python 的 df.to_sql 添加新数据，但这过于复杂。

我已阅读文档，但在此主题上含糊不清。我发现“一些后端支持将数据从表达式插入到现有表中。” 但ibis.backends.mysql文档没有说明插入或更新。

谢谢你。

-大卫

我无法从熊猫数据框创建表。

日志似乎是：

宜必思尝试将 csv 插入镶木地板是否正常？不应该是拼花桌吗？我看到的唯一解决方案是创建一个文本表并使用选择插入它。

在 python 中的函数之间存储/重用 ibis 数据库连接的最佳实践是什么？

目前，我正在使用一个函数连接到如下所示的数据库：

...我在每个查询之前调用以创建连接。例如：

但是，我有几个函数可以在同一页面上构建各种仪表板小部件报告，因此看起来正在为每个函数创建一个新的数据库连接。

我想知道是否有一种方法可以全局定义连接，类似于 Flask-SQLAlchemy 的做法，并让所有函数共享它。那可能吗？

在 python 笔记本中，当我导入 ibis 时，它给了我以下错误；

错误;

我找不到解决方案。我怎么解决这个问题？

人们经常谈论使用parquet 和 pandas。而且我正在努力理解我们是否可以在与 pandas 一起使用时利用 parquet 文件的全部功能。例如，假设我有一个包含 30 列（包括年份、州、性别、姓氏）和许多行的大型镶木地板文件（按年份分区）。我想加载镶木地板文件并执行以下类似的计算

在此查询中，仅 4 列（共 30 列）并且仅2002使用年份分区。这意味着我们只想带来此计算所需的列和行，并且在 parquet 中可以使用谓词和投影下推（以及我们使用 parquet 的原因）。

但我试图了解此查询在熊猫中的行为方式。它会在我们调用的那一刻将所有内容都带入记忆df = pd.read_parquet("file.parquet)吗？或者这里应用了任何惰性因素来引入投影和谓词下推？如果不是这种情况，那么在镶木地板上使用熊猫有什么意义呢？外面有这一切可能arrow package吗？

尽管我没有用过dask只是想知道这种情况是否在他们懒惰地执行时被处理。

我确信这种情况在 spark 世界中得到了很好的处理，但只是想知道如何在本地场景中使用 pandas、arrow、dask、ibis 等软件包处理这些情况。