问题标签 [petl]

我试图从polygon.io API 中提取财务数据以对其进行组织，然后将其注入Azure 数据库。为了实现这一点，我一直在使用“petl”python 包，但我从示例表开始遇到问题，因为我认为这是由我检索和编写 JSON 结果的方式引起的无效源参数。

我希望一个表的列标题是下面列出的值，但收到了以下错误消息："AssertionError: invalid source argument, expected None or a string or an object implementing open()"

从 API 打印数据时，它看起来像这样：

我曾尝试转换数据或使用 api 调用行作为数据参数，但收效甚微

我正在使用 petl python 包对存储在 SQL Server 数据库中的表执行一些查询。JOIN我现在需要在不同数据库上的 2 个表之间做一个。

petl.fromdb据我所知，该函数只接受一个 connection [petl.fromdb(connection, query)]。

任何想法是否可以用petl做我正在尝试的事情？如果没有，是否有任何软件包可以让我这样做？

我有一个表在连续行中有重复的行。具有相同“id”的行在其他列中应该有重复的数据。但是很少有数据不正确的行。例如 -

我需要知道连续行的列不同的列。

我需要的最终输出 -

我可以为此使用“petl”或“pandas”，但我的方法应该是什么？

试图寻求有关策划广泛 ETL 流程的最佳方式的一些指导。我的管道有一个相当时尚的提取部分，并以简洁的方式加载到指定的文件中；但我能想到的唯一方法是进行转换步骤是一系列变量赋值：

重新格式化以分配相同的变量名是有道理的，但不利于可读性：

我已经阅读了多个这样的方法调用：

但这不起作用，因为函数需要表作为传递的第一个参数。

我缺少一些基本的东西吗？我不愿意相信在商业上这样做的正确方法涉及 1000+ LOC？

如何使用 petl 库删除行？

我已经使用以下方法加载了数据：

现在我怎样才能删除 self.tab 中带有条件的行？我认为在熊猫中你可以像 df.drop 但 petl 有吗？

我正在尝试使用 petl 模块在 mysql 数据库中插入一些记录，但它返回错误：mysql.connector.errors。

ProgrammingError: 1064 (42000): 你的 SQL 语法有错误；查看与您的 MySQL 服务器版本相对应的手册，了解在 '%s, %s, %s, %s, %s, %s, %s, %s, %s, %s)' 附近使用的正确语法1号线

首先，我对所有 python 都很陌生。我现在正试图弄清楚当时间大于当前时间时如何替换某个列（csv）中的时间字符串。

我正在构建的脚本依赖于 petl，所以这就是我正在使用的。首先，源 csv 使用 petl 作为 table1 打开。它包含多个列，其中之一是“结束时间”。在本专栏中，我想用@time 替换那个时间？（用于稍后的 HTML 格式），仅当它大于当前时间时。

时间的格式类似于“12:15”。但是，当使用 > 运行该行时，我没有看到任何变化，但使用 < 列中的所有值都发生了变化。

我正在努力解决的问题：

我还想知道如何打印或查看 time.strptime 用作值，这可能吗？

任何想法都受到高度赞赏！

我有一个 Python 程序，可以从 SQL 数据库中的数据生成报告。对于 CI 管道测试，我使用以下命令在内存中创建 sqlite3 数据库：

我从一堆 csv 文件（都是 utf8）初始化这个数据库，文件名作为表名，第一行作为标题。初始化是这样完成的：

然后使用此数据库为应用程序运行测试。

所有测试在我的 Windows-10 开发机器上运行良好，但是当我推送到 git 并触发 CI 作业（CI 作业在基于 centos7 的 docker 容器中运行）时，测试失败。经过一些调试后，我设法通过以下代码片段找到了失败的根本原因：

这会导致以下错误：

UnicodeEncodeError：“ascii”编解码器无法在位置 317 编码字符“\xe4”：序数不在范围内（128）

知道是什么原因造成的。sqlalchemy 和 sqlite 都应该默认使用 utf8。为什么我的代码在windows下能用，在linux下不行。我已经尝试解决这个问题一天了，我很难过。任何帮助表示赞赏。

Python 是 3.6.8 版，所有包在我的 windows 和 linux 机器上都是相同的版本。

PS print 命令用于演示问题（测试字体使用 print()）。实际问题是，当查询包含 Unicode 字符（本例中为“ä”）的表时，结果为空。

I'm writing a python program to extract tables from excel sheets and pdf. Currently, I'm using different libraries for each file type. Xlrd for excel sheets, Pdfminer for pdf.

I'm wondering if there is a generic approach to extract tables from any type of file (xls, pdf, csv, word etc.). Since I'm planning to expand the list of supported file types, writing different functions for each file type would be cumbersome.

P.S. I came across PETL while looking for solutions. I could not find any excel/pdf extraction examples and I could not fully understand the documentation. Would PETL fulfill my requirement? If yes, I would really appreciate an example. Thank you.

我正在尝试按多个字段对已使用 petl 读取的表进行分组（也就是说，它是 petl 类型）。我正在尝试使用以下代码：

这段代码不会抛出任何错误。但是，生成的表在某种程度上似乎是空的或损坏的：

print(EA_Defence_Types[0]) 将抛出：

print(EA_Defence_Types[1]) 将抛出：

我不知道那个错误可能意味着什么。