问题标签 [odo]

我正在尝试使用 odo python 包将从 Quandl 下载的简单 CSV 文件导入 MySQL 表

第一行在 CSV 中如下所示：

MySQL表定义如下：

它会引发异常 1292，其中包含以下信息：

sqlalchemy.exc.InternalError: (pymysql.err.InternalError) (1292, "不正确的日期值: '7/25/2016' 列 'Date' 在第 1 行") [SQL: 'LOAD DATA INFILE %(path)s \n INTO TABLE QUANDL_DATA_WIKI\n 字符集 %(encoding)s\n FIELDS\n TERMINATED BY %(delimiter)s\n ENCLOSED BY %(quotechar)s\n ESCAPED BY %(escapechar)s\n LINES TERMINATED BY %( lineterminator)s\n IGNORE %(skiprows)s LINES\n '] [参数：{'path': 'C:\ProgramData\MySQL\MySQL Server 5.6\Uploads\WIKI_20160725.partial.csv', 'quotechar': ' "', 'skiprows': 0, 'lineterminator': '\r\n', 'escapechar': '\', 'delimiter': ',', 'encoding': 'utf8'}]

有谁知道第一行的日期有什么问题？它似乎与 MySql 数据库不匹配

我尝试在 python 中使用 odo 将数据从 csv 文件加载到 mysql 表中。

csv 文件包含空白单元格。odo 命令在遇到空白单元格时文件。

如何使用 odo 命令加载数据并默认为丢失的数据插入空值。

我正在尝试使用 odo python 包将从 Quandl 下载的简单 CSV 文件导入 MySQL 表

rsow 在 CSV 中看起来像这样。第二行缺少一个值。

MySQL表定义如下：

它会引发异常 1366，其中包含以下信息：

sqlalchemy.exc.InternalError: (pymysql.err.InternalError) (1366, "不正确的十进制值: '' for column 'High' at row 185") [SQL: 'LOAD DATA INFILE %(path)s\n INTO TABLE QUANDL_DATA_WIKI\ n 字符集 %(encoding)s\n FIELDS\n TERMINATED BY %(delimiter)s\n ENCLOSED BY %(quotechar)s\n ESCAPED BY %(escapechar)s\n LINES TERMINATED BY %(lineterminator)s\n IGNORE %(skiprows)s LINES\n '] [参数：{'quotechar': '"', 'encoding': 'utf8', 'path': 'C:\ProgramData\MySQL\MySQL Server 5.6\Uploads\WIKI_20160725 .partial.csv', 'lineterminator': '\n', 'escapechar': '\', 'skiprows': 0, 'delimiter': ','}]

有谁知道如何配置 ODO，以便我可以使用简单的命令将缺失值作为 NULL 值上传？

我期待这样的工作：

但是，我得到一个例外

行分隔的 JSON 文件是一个相当简单的文件

出现相同的错误

和

以下是其他一些案例

我的 odo 是 0.5.0

我正在使用 odo 将 CSV 文件写入 MySQL 表。

当我没有指定datashape时，将创建 MySQL 表，其中所有字符串列作为 TEXT，所有整数列作为 BIGINT(20)。所以，我尝试了以下数据形状，并得到以下错误：

NotImplementedError：数据形状没有 SQLAlchemy dtype 匹配：var

NotImplementedError：数据形状没有 SQLAlchemy dtype 匹配：float16

NotImplementedError：没有与数据形状匹配的 SQLAlchemy dtype：uint32

NotImplementedError：数据形状没有 SQLAlchemy dtype 匹配：int8

理想情况下，例如，我可以将 int8 映射到 TINYINT，将 175 * var * 字符串映射到 VARCHAR(175)，将 10 * 字符串映射到 CHAR(10)，但似乎 SQLAlchemy 不支持这一点。我解决并将我的所有数据类型设置为 int32 或 float32，并从我的字符串类型中删除了 var 名称。

这会将 int32 映射到 INT(11) 并将 float32 映射到 DOUBLE。我可以忍受这个。但我不能接受我所有的字符串列仍然在 MySQL 上写为 TEXT。

我必须如何更改我的数据形状才能在 MySQL 中获取 CHAR 和 VARCHAR 数据类型？

我正在尝试扩展 odo 库，使其具有将 GDAL 数据集（具有空间信息的栅格）转换为 NetCDF 文件的功能。

读取 gdal 数据集很顺利。但是在 netcdf 的创建阶段，我需要一些 gdal 数据集的元数据（调用 odo.odo(source,target) 时还不知道的元数据）。我怎么能做到这一点？

到目前为止我的代码的简短版本：

谢谢！

考虑以下 CSV 格式的文件 (stock_prices.csv)：

在 Python 中使用odo函数将 CSV 文件插入 SQLite 数据库表时，NA 代码似乎作为 None 值插入。

这是我用来查询 SQLite 数据库的代码。

结果如下：

虽然我可以用“NA”更新 Symbol 为 None 的每一行，但我宁愿第一次正确插入该行。

注意：我正在使用odo函数，因为对于我的实际项目，我将插入到表中的文件大到几 GB，并且包含大约 15-20 列。在我看来， odo似乎是我在短时间内完成我需要做的事情的最快方式。

我正在尝试访问 S3 上的行分隔 JSON 数据。根据我对文档的理解，我应该能够做类似的事情

抛出

我已经尝试过导致不同错误的变化。

我可以获得以下内容来处理本地文件：

不过，我不确定为什么(map(JSONLines, glob(需要它。

我不太了解如何使用类型修饰符

我在使用 blaze 和 odo 将一些数据从 MSSQL 后端导出到 csv 时遇到问题。

我要做的第一件事是创建一个 blaze.data 对象，该对象使用 dns 连接和 pyodbc 作为驱动程序连接到 MSSQL db。

adjust_statuses 是 blaze.data 对象连接到的数据库中的一个表。

然后我使用 odo 获取该结果集并将其输出到 csv。当我输出为 json 格式时，它按预期工作。我的预感是 mssql 支持作为 odo 后端存在一些问题。任何 odo 开发人员对此有任何见解吗？

我正在尝试使用 odo 将 CSV 导入 MySQL，但出现数据形状错误。

我的理解是 datashape 采用以下格式：

其中 var 表示可变数量的行。我收到以下错误：

我不确定 0 行数来自哪里。我已经尝试使用 明确设置数据形状dshape()，但继续得到相同的错误。

这是重新创建错误的代码的精简版本：

我正在使用 Conda 运行 Ubuntu 16.04 和 Python 3.6.1。

感谢您的任何意见。

我正在使用 odo 库将pandas 数据帧传输到 S3。但是我收到以下错误：

现在我已经正确设置了 AWS 凭证，正如我在~/.aws/credentials文件中看到的那样

aws cli 对我来说可以正常工作，我可以正确运行aws ls和cp命令（我想这意味着我确实拥有所需的权限）。

也boto3能够访问 s3 资源并且不会出错。

配置中可能出现什么错误/缺失？