问题标签 [pv]

我正在使用 python 子进程来运行 mysqlimport 命令。为了跟踪上传进度，我使用了命名管道和 pipe_viewer。这是另一个类似的问题。

子进程 Pipes 正在运行，没有任何错误，但 mysqlimport 命令未将数据上传到所需的表。

这是一个简单的 mysqlimport 命令，它运行良好并上传数据，但没有 pipe_viewer，无法跟踪进度：

这是使用 pipe_viewer 和 mysqlimport 的终端命令，它工作正常：

I have a script to perform a synchronisation between the local and production databases. In this script, there is a command to import the production.sql to my development database. It's a bit long, so I would like to add a progress bar.

The command works when I type it directly in my terminal, but when it's executed by the script, I can see the progress bar, but it's doesn't progress. It remains at 0% until the end of the progression.

This the part of my script:

Do you know why it doesn't work in my script?

我编写了一个脚本来并行恢复一个巨大的 mysqldump 文件

https://gist.github.com/arunp0/4c34caee2432a6f11b91b99dfd2c5ef3

可以将转储文件分成几部分并并行恢复吗？

或者如果有任何改进建议以减少恢复时间

只是为了解释脚本是如何工作的

使用 DROP TABLE 、 CREATE TABLE 命令创建新的 sql 文件

然后这个文件被恢复（不是并行的）——所有的表都是在恢复数据之前创建的

我正在尝试使用 pv 提取大型 .tar 文件。

pv 命令按预期工作，在控制台中显示进度。

我正在尝试拆分标准输出，以在控制台中显示进度并将相同的突出显示保存到文件中。

我尝试用 tee 这样做，但无法使其工作。

有什么建议我如何将进度显示到控制台并同时将其保存到文件中？

谢谢！

如何将pv的stderr输出打印到文件中？例如：

速率线输出在我的五秒超时过程中“更新”。我试过了，但它不起作用（日志为空）：

我相信这与stderr输出中的回车有关，但一个小时后我被卡住了。理想情况下，每次pv打印一个新值时，我的日志文件会有多行：

更新：

要将内容放入如上所述的文件中，我必须使用stdbuf虽然我不确定为什么需要它（tr单独不起作用，如果没有stdbuf文件将是空的）：

有点跟进这个问题。我使用 bash 进程替换期望看到 5 行输出（对应于 5s 超时）但是我只看到 4 行：

但是，如果我在中间放置一个命名管道，我会按预期得到 5 行。第一个外壳：

第二个外壳：

第一个 shell 的输出（5 行）：

为什么我在使用 bash 进程替换时没有得到 5 行？

奖金

我还尝试将输出转储到文件而不是stderr但这给了我一个空的日志文件：

我发现在使用stdbuf时，我的rates.log文件包含最初预期的多行输出：

为什么我的tr需要 stdbuf ？（另请注意该文件包含 4 行，因此此调用结构可能会遇到与上述相同的问题）

我想在这个命令行中添加一个进度条：

进度文件应根据压缩大小文件的总数（而不是单个文件）计算。

当然，它也可以是脚本。

如果可能的话，我还想添加其他进度条：

1. 处理的文件总数（21 个中的 3 个示例）
2. 单个文件的进度百分比

有人可以帮我吗？

这里的一些例子应该看起来相似（来自这里的例子）：

多个进度条（来自此处的示例）：

谢谢，

这是我的脚本：

tar cf - testdir | pv -s $(du -sb testdir | awk '{print $1}') | pigz -1 > pv.tar.gz

tar cf - testdir | pigz -1 > nopv.tar.gz

diff pv.tar.gz nopv.tar.gz

然后输出是“二进制文件 pv.tar.gz 和 nopv.tar.gz 不同”。

我执行hexdump

我发现只有这两个文件的第一行略有不同

pv.tar.gz: 8b1f 0008 9e24 5fc8 0304 bdec 5f7b c71b

nopv.tar.gz: 8b1f 0008 9c18 5fc8 0304 bdec 5f7b c71b

但是我解压之后再对比一下，testdir是完全一样的。

我想问的是，如何让两个tar.gz文件保持一致？

我正在尝试输出在.sqlmariadb docker 容器中导入文件的进度。

我有以下文件/目录设置：

我docker-compose.yml的很简单...

...使用以下 Dockerfile 安装pv（管道查看器）。pv应该给我一个进度条，目前导入有多远......

将import.sh通过/docker-entrypoint-initdb.d 此处描述的映射卷执行。

现在，如果我运行docker-compose up它，它只会100%在导入结束时输出 pv 输出：

如果我在容器内执行相同的命令，它会起作用，它会给我一个移动的进度条：

我怎样才能打开这个进度条docker-compose up而不是长时间等待和100%输出？

我有一个将本地数据库转储到 sql 文件中的命令：

pg_dump -U simpleton -h localhost the_name_of_my_database >> dumped_db_file.sql

如何格式化此命令以通过管道传输，pv以便查看进度？