问题标签 [rclone]

我有一个问题，不知道找谁来解决。希望你能帮助我。我的 Raspberry Pi（无桌面环境）已经可以访问（写入和读取）我的Microsoft OneDrive directoriesvia rclone。现在我的想法是将当前保存在我的树莓上的目录自动同步到我的 OneDrive 帐户。

我认为这可以通过符号链接实现，如下所示 ln -s /my/raspberry/dir /my/onedrive/dir：

有一个更好的方法吗？我认为 OneDrive 不支持符号链接 :(。

我想知道 rclone 是否能够从 Google Drive 的共享文件夹中下载文件。如果是，执行此操作的命令是什么？

我正在寻找一种方法来检查文件是否通过使用 rclone 正确下载。也许该选项-i能够做到这一点？

我使用 RClone 将 s3 存储桶挂载为本地磁盘，关闭 CMD 后本地磁盘消失。

如何在我关闭 cmd 后保持驱动器可访问，或者它们是 RClone 的替代品

我在 Windows 10 机器上使用适用于 Linux (WSL2) 的 Windows 子系统和使用 rclone 安装的 OneDrive。在本地目录中使用 WSL2 时，我可以为项目创建虚拟环境：

但是，如果我在 OneDrive 上的目录中运行此命令，则会收到错误消息：

如果我查看 myproject 目录，我可以看到该目录 venv 已创建。然而它是不完整的，因为它只有“lib”和“include”子目录。当它被正确创建时（即，在不在 OneDrive 上的目录中），它具有“lib”、“include”、“bin”、“lib64”、“share”和“pyvenv.cfg”。

“lib64”是在正常安装中指向“lib”的符号链接。在上面的错误消息中，似乎 lib 实际上指向 lib64，所以我想这是输入/输出错误？

当通过 rclone 挂载并使用 WSL2 时，有没有办法让 venv 在 OneDrive 目录上工作？

我在服务器的 dir1/ 下有很多文件。我想将 dir1/*.png 下的所有 png 文件复制到谷歌驱动器。

然而

给出错误。

有没有办法解决这个问题？

在将用作 ClearML 代理的 docker 映像中安装 S3 容器的最佳实践是什么？我可以想到 3 个解决方案，但目前无法使任何解决方案工作：

1. 在 ClearML 中使用预制配置，特别是 CLEARML_AGENT_K8S_HOST_MOUNT。为此，S3 存储桶将使用rclone单独安装在主机上，然后重新映射到 docker。这似乎只适用于 Kubernetes 而不是 Docker——因此不起作用。
2. 使用此处指定的 s3fuse 进行安装。问题是它可以与存储在 ClearML 浏览器会话中的 S3 存储桶密码一起使用吗？这似乎也很复杂，需要自定义 docker 镜像，更不用说以 --privileged 或类似方式运行 docker 镜像了。
3. 使用1.0 发行说明中指定的“docker_args 和 docker_bash_setup_script 参数到 Task.create()”将参数传递给 docker 。这将类似于 (1)，但参数将用于绑定安装卷。我没有看到太多关于如何将此新功能用于此目的的文档或示例。

我有一个使用 Google Cloud 上的 Cyber​​Panel 运行的网站。我想把它转移到阿里云上。设置和运行现有的 Cyber​​Panel 需要付出很多努力，所以我不想再这样做了。

有什么方法可以将我的 Cyber​​Panel 转移到阿里云上，所有配置和网站以及所有内容？

我正在尝试使用 rclone 实用程序从 AWS S3 传输到 IBM COS。

它适用于 AWS S3，但不确定为什么它对 IBM COS 失败。使用服务凭证、API 密钥作为访问密钥 id 和资源实例 id 作为秘密访问密钥。

尝试使用不同的用户密钥和服务 ID 失败。运行 rclone lsd COS_SOURCE 时出现的错误：

在 CI 上缓存的常用方法是将文件存储到存档，然后将其推送到某个存储，稍后下载并解压缩。很简单。

考虑来自https://github.com/actions/cache的示例

这个片段声明了什么？它说：“请尝试恢复我的缓存，不包括其中一些给出类似名称的缓存ubuntu-abfacada123456，然后执行其他操作，并以相同的名称返回作业存储缓存的末尾”。
我们也能够提供

当找不到完全匹配时，获取与模式对应的最新可用缓存key。

由于其简单明了，这是最广泛的缓存方法之一。

介绍一下我的问题。我有一个有很多依赖项的大型 C++ 项目。它是分几个阶段构建的，还有很多事情需要做得更快。
简而言之，构建包括：

• 准备docker镜像
• 构建由 vcpkg 管理的依赖项
• 使用 ccache 使用 cmake 构建项目
• 运行测试

有3个点可以缓存

• 泊坞窗图像层；大约 1.4Gb，?? 拉链
• vcpkg 下载、构建数据、安装 build-root；约 5Gb，1.4Gb 压缩
• 项目的ccache；高达 8Gb，2Gb 压缩

我已经尝试在 GitLab CI 和 GitHub Actions 上使用常规和常用的缓存技术。对于如此大量的数据，它们的效率不够高。默认缓存存储经常溢出并且较旧但仍然实际的档案被删除。

CI 假设多个 pull/merge 请求、提交、分支的多个构建；计划运行和手动运行。因此总缓存大小超过了通常的报价。

问题

1. 存储几乎相同的文件需要太多的存储空间。构建与构建之间的差异小于缓存大小的 5%，通常高达 1%
2. 归档 5Gb 的构建数据然后将其从构建机器上传到远程持久存储需要太多时间
3. 带有缓存存档的存储比数据过时更频繁
4. 一个全新的初始化干净构建机器仍然需要下载完整的缓存，但下载和解包时间总是比存档和上传少得多。

例如，我的 5Gb vcpkg build_dir 在 1 分钟 40 秒内下载和上传，但存档和上传需要 4 分钟 45 秒。我们很少更改vcpkg，通常没有更改上传。

所以任务是减少网络上的流量。

解决方法

我想使用一些备份/恢复实用程序，例如rclone或restic存储差异数据。

工作流程几乎相同：

• 下载缓存；
• 做事，即构建/重建，假设这一步也自动检测要重建的内容；
• 上传更新的缓存，只有区别；
• 使用标签标记上传的快照以供将来使用：日期、分支名称、内部版本号等。

关键问题是检测要下载哪个快照。
让我们考虑下一个用例。给定一个从 branch-A 到 branch-main 的 PR。Branch-A 仍在建设中，开发人员经常推动。PR 的每个下一个版本都应该使用前一个版本的缓存。PR 的第一次构建是指基础分支的缓存。

这是问题

有没有现成的问题解决方案？

您如何优化大型构建？