问题标签 [odo]

假设我们有大型 csv 文件（例如 200 GB），其中只有一小部分行（例如 0.1% 或更少）包含感兴趣的数据。

假设我们将这样的条件定义为让一个特定列包含来自预定义列表的值（例如，10K 个感兴趣的值）。

odoPandas 或 Pandas是否促进了将这种类型的行选择性加载到数据框中的方法？

我是新来的。我有一个用于迁移数据库的简单功能：

在 SQLite 数据库上运行它。

我收到以下错误。

我该如何解决这个问题？

OperationalError：（sqlite3.OperationalError）无法解码为 UTF-8 列“V_WIMS_WELLS$COMMENTS”，文本为“2013 年 12 月 29 日：与 SAP 问题相关，WO# 已关闭，但仍出现在 WIMS 中以供确认。

WPH-41 切割表面 CSG 9-5/8¿ 在 b

PS :- 我知道我们可以在 sqlalchemy 中显式设置 textfactory

我不知道如何在 odo 函数中修复它

通过显式传递元数据来编写函数的第二次尝试会导致以下错误

错误：-

我是 PostgreSQL 和odo. 我创建了以下内容：（我正在使用 Ubuntu）。

我创建了超级用户 testuser，并使用这个用户（角色）创建了 postgresql 数据库testuser（通过运行psql然后 CREATE DATABASE testuser;）。在这个数据库中有一个名为testtable. 使用psycopg2. 但是我遇到了odopython的模块。因为我的目标是加载some_file.csv到 postgresql 数据库中，所以我想我会使用它。用法似乎相当简单

但它不起作用，我得到

注意：相反<password>，我有 testuser 的密码。

也许这很明显，我必须实现它..（如最后一段在这里），但我认为 postgresql 是受支持的（因为 postgresql 在那里被多次提及，并附有示例）。我试图在连接 URI 下查看此处，但找不到错误。这是odo文档。

我有这个将 CSV 发送到 Oracle 的代码，但它比 1 月份的糖蜜慢。我想使用 odo 但对于这种确切类型的情况（从 CSV 到 Oracle 的数据），文档很少。我没有和 Pandas 结婚，所以最好不要使用它，这对我来说很好。

提前致谢！

我决定尝试使用 odo来处理我的 csv 数据，因为据说它比使用 pandas 更快，但我无法让它工作。

这是他们关于将 30gb csv 文件迁移到 MySQL 数据库的文档：

我在我的 OS X El Capitan 上的本地 MySQL 实例中尝试了相同的操作，但它给了我以下错误：

一开始以为是文件权限错误，后来发现表创建成功，列名正确，所以odo可以访问文件。所以，我真的不明白这个错误(13, u"Can't get stat of '/path/to/test.csv' (Errcode: 13 - Permission denied)")

我还能检查什么？

使用 odo 将 pandas 数据帧加载到 postgres 中不起作用。

我首先使用 SQLalchemy 创建一个表对象。我本地 postgres 实例上的表的名称是testaccounts.

当我尝试上面的代码时，我得到了这个错误：

我还通过手动创建包含这 3 列的表对此进行了测试，但它仍然显示相同的错误。我想我做错了什么，但不确定是什么。有人可以指出我正确的方向吗？

所以，我正在使用odo数据迁移，但遇到了这个错误：

源表和目标表都具有相同的架构，但在后端执行的 sql 语句中，整数值带有 .0。就像源表中的整数34显示为34.0：

如果需要更多信息，请告诉我。

odo 文档非常稀疏，它没有解释如何在加载 csv 文件时传递更多参数。例如，我如何告诉 odo 该文件是 latin1 编码的？

使用 python模块将其中一个转换.csv's为 a时，我收到一个pd.DataFrameodoTypeError

适用于其他人的代码csv's

这是我迄今为止尝试的无济于事：

和这个：

更新 1 看起来我忽略了这个错误中最明显的提示

导致 Windows SO中的编码问题。但这都不是：

或这项工作

这种不优雅的方式（对于我的用例）取自pandas-reading-csv-files（与上述相同的链接）

不知道接下来要尝试什么，任何帮助将不胜感激。

我正在尝试从本地计算机将文件上传到 PostgreSQL 数据库，我得到的错误是：

我试图运行的命令是：

看起来 PostgreSQL 正在尝试在远程服务器上而不是在本地机器上查找文件。在服务器上运行脚本（并将文件路径更改为服务器上的某个位置）运行良好，这似乎证实了我的怀疑。

是否可以使用 odo 将文件从我的本地机器上传到远程 PostgreSQL 机器？我正在使用亚马逊 RDS。