问题标签 [miller]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
bash - 如何使用 bash/miller 添加 +/- diff 列来识别 CSV 文件差异?
我有一些数据文件,我想为其生成一个“差异”列,这意味着添加一个列来指示是否已从当前文件中添加/删除了特定行。例如,我有以下两个文件a.csv
:
和b.csv
:
我只想根据id
是否添加/删除行进行比较。数据无所谓。到目前为止,我想出的最好的方法是以以下方式使用miller :
这会生成以下内容,这就是我想要的:
该解决方案的不幸之处在于它需要运行 miller 四次并使用三个临时文件。Miller 似乎不适用于 bash 流程替换(<()
业务)。
有没有更直接的方式来产生这种输出?
csv - 使用 Miller 按列拆分巨大的 CSV
我需要每天拆分包含 50K+ 列的巨大 (>1 Gb) CSV 文件。
我发现Miller是完成此类任务的有趣且高效的工具。
但我坚持米勒的文档。
如何将一个 CSV 拆分为N
较小的 CSV 文件,其中N
我的源文件中有许多行?
csv - Miller 如何将本地日期和时间转换为 UTC?
Miller 5.6.2如何将本地日期和时间转换为UTC
使用比以下更简单的表达式?
请注意,我在六月的本地时区是EDT
或-04:00
:
json - 使用 miller shell 命令为每行创建带有值对的 HASH-ID 键并将其附加到 JSON 对象文件
我希望根据每个文件中的所有值为unique-ID/hash-ID
我的文件中的每一行创建一个JSONs
JSON object
我从这里开始,但不确定是否必须明确列名,或者是否有办法在不明确列名的情况下包含所有列。
file.json
输入:
期望的输出:
miller - 是否有米勒函数可以将格式化为货币的 csv 数字识别为数字而不是字符串?
我最近发现了用于批处理 csv 文件的 Miller (mlr) 并喜欢它,但似乎原始数据中格式化为货币的数字被 Miller 识别为字符串,因此尝试对它们执行数学函数会返回错误。
这是一个虚拟示例:
返回:
我发现最好的解决方法是在每个单独的列上使用 ssub 来删除美元符号,然后我可以将数据相加。
例子:
返回:
虽然这种解决方法是有效的,但它不是很有效。在具有很多列的 csv 文件中,这种方法需要大量的清理并且容易出错。有没有更好的方法让米勒将货币格式的数字识别为数字而不是文本?
csv - Miller - Ignore valid field names when using -N
I'm using miller
to process some CSV files like so:
It works well, but some of the CSV files contain field names and some do not, which is why I'm using -N
. In the files that have field names, they get printed in the output. You would think that having the headerless-csv-output
bundled in the N
flag they wouldn't, but they are. Maybe it's a bug? Anyway, how would do I prevent the field names from being printed? If the input needs to be altered somehow and piped in that's fine, but the output is being uniquely processed.
Here's the documentation I've been referencing:
- https://manpages.ubuntu.com/manpages/focal/man1/mlr.1.html#options
- https://miller.readthedocs.io/en/latest/reference.html
my.csv
Expected output
Present output
csv - 使用 miller 时是否可以将 CSV 的多个列重命名为空列名称?
我有这样的标题的 CSV 文件
我想要设置为具有空标题的列的列ppp
。qqq
(我不想删除它们!)所以我想要一个带有如下标题的生成 CSV:
(注意最后是空的,但存在的列。)
有没有办法用米勒做到这一点?(*)我试过了
但是这个命令将所有匹配的列折叠成一个!:-(
(*) 我确实知道如何将其与 中的搜索替换命令一起破解sed
,但我不喜欢将其作为一般解决方案,因为sed
不知道 CSV 的列结构。因此,我希望与米勒一起解决问题。
command-line - 如何使用 Miller 命令行工具删除 csv 文件中的空白行?
我有一个包含许多空白行的 csv 文件(在 Mac 上)。
我正在将Miller命令行工具用于其他进程,并希望也使用该工具删除空白行。
到目前为止,我在文档中找不到任何东西,但它非常广泛,所以我可能在某个地方忽略了它。
miller - 什么是米勒命令,用于将电子邮件分成各自的行,同时还复制其他列数据?
我有一个非常大的 csv 文件(213,265 行),其中包含许多列。
在其中一个专栏中,我有一些用逗号分隔的电子邮件。csv 文件的精简版本如下所示:
我想使用Miller将这些电子邮件分离到它们自己的行中,但也复制电子表格中的所有其他列(在这个简单的示例中,其中许多列未在此处显示)。
继续这个例子,我想以这样的方式结束。但请记住,真正的电子表格在电子邮件列之前和之后还有许多其他列:
这可能与米勒(或其他类似工具)有关吗?命令会是什么样子?
miller - 如何使用 Miller 命令行工具将 CSV 转换为 JSON 数组?
使用Miller命令行工具,我想将带有标题的 CSV 文件转换为 JSON 数组。
目前我正在使用这个命令:mlr --icsv --ojson cat sample.csv > sample.json
它输出 JSON,但不是数组格式。
这是示例 CSV 输入:
这是我从米勒那里得到的输出:
如您所见,此输出是 JSON Lines,而不是数组格式。
我希望 JSON 是一个数组,如下所示:
什么是正确的米勒命令?