我有一个 Python 脚本，它收集源链接并将每个链接作为新行放入文本文件中。这个文件会不断更新，因为我通常会在一天的大部分时间里运行 Python 脚本。文本文件包含重复链接，因此我通常必须在下载之前手动删除重复链接。
现在我手动将文本文件放入 Jdownloader 并将下载保存到我的 PC 上的文件夹中，跳过任何重复项（以前的下载）。但是，这是一个手动过程，当我开始使用它时，一些链接已经失效。
有没有办法自动化这个？就像每隔几个小时它可以在那个时候使用文本文件，下载文件夹的所有链接（没有子文件夹），并跳过所有以前下载的内容（相同的文件名）？还是手动 Jdownloader 是我的最佳选择？