问题标签 [backup-strategies]

我有一套涉及从远程服务器下载文件然后解析它们的脚本。每天晚上，我都想为当天下载的文件创建一个存档。

一些限制是：

• 从 Windows 服务器下载到 Ubuntu 服务器。

• 无法删除远程服务器上的文件。

• 需要添加到本地目录的日期，而不是创建文件的日期。

• 我在下载阶段运行了重复数据删除；但是，（使用 ncftp），检查涉及比较远程目录和本地目录。一种策略是每天创建一个新文件夹，将文件下载到其中，然后在午夜之后的某个时间对其进行 tar。由于新的本地文件夹为空，因此出现的问题是，新一天的第一个预定下载将抓取远程服务器上的所有文件。

由于限制，我考虑简单地将基于“添加日期”的文件归档到中央文件夹。这在使用 Mac 时效果很好，因为 HFS+ 存储扩展的元数据，例如创建日期和添加日期。因此，我可以将 tar 命令与以下内容结合使用：

但在 linux 下似乎没有类似的东西（至少不是我知道的 EXT4）。

我对任何形式的解决方案持开放态度，以便将文件翻倍到第二天。最终结果应该是一个充满 tar.gz 文件的归档目录，如下所示：

这个相同的代码已经在 3 个服务器中使用过，只有其中一个会默默地无法移动项目（它仍然会删除它们，但它们不会出现在共享中）。

Azure-MapShare.ps1

获取排除天数.ps1

迁移文件.ps1

作业步骤是在所有 3 台服务器上键入“PowerShell”，并包含相同的代码：

如果我使用 SQL 运行作业步骤，则文件将被删除，但不会出现在存储帐户中。如果我手动运行此代码块，它们会被移动。

当我在服务器上启动 PowerShell 时，我收到一条错误消息：“尝试对 'FileSystem' 提供程序执行 InitializeDefaultDrives 操作失败。” 但是，这不会真正影响其余操作（例如，将备份文件复制到 BackupArchive 文件夹）。

我应该提到，copy-item 也无法复制到共享，但成功复制到 /BackupArchive 文件夹

我有一个 git 服务器，并计划备份它以备不时之需。我已经用谷歌搜索了它并得到了一些要点如下：

1. git clone repos 并在需要时推送新服务器，也可以在本地使用。
2. 创建一个 git 包。

我有一个朋友有一个论点，我们应该复制 git 位置服务器的整个文件结构（包含 git 服务器应用程序的所有文件结构），并在需要时将其配置回服务器上。

我需要你们的帮助。我该如何进行，哪种方式最好？

我使用快照方法备份我的elasticsearch节点，它的工作原理如下： PUT /_snapshot/my_backup/snapshot_1?wait_for_completion=true 但是在将新数据添加到elasticsearch之后，它不包含在快照中，所以我们需要定期运行它，但是如果在2之间出现问题会丢失数据快照，有没有办法处理它？elasticsearch有没有连续备份的方法？

我应该为此使用什么插件？

你能告诉我你的配置bareos-fd.conf和文件集部分吗bareos-dir.conf

谢谢！

我有一个 ES 集群，它有 10 个节点，有 2 个主节点。每个节点大约有 500 GB 的数据。我想备份整个集群。这将是最好的方法。我已经浏览了 Elasticsearch 提供的快照和恢复 API，但问题是对集群中的大量数据进行快照并将其存储到 S3 会产生更多的运营成本。

对于恢复方法，如何将数据从 S3 恢复到具有一些现有数据的现有集群？恢复之前是否需要删除所有节点上的现有数据？

在主节点上运行恢复是否会自动开始恢复所有 10 个节点上的数据？它将如何在所有节点上分发数据？

任何帮助都是不言而喻的。

我希望能够获得对集群当前状态的描述，以便将来能够从故障中恢复。除了分别从源代码/cli 重新创建所有服务之外，还有哪些可用的解决方案？

我刚刚在我的 cloudant 数据库中有足够的数据，如果我丢失了它会是一个问题，所以现在我正在研究什么是定期备份我的数据的好/可靠（/免费！）方法。

我查看了文档及其建议通过复制使用备份（https://docs.cloudant.com/backup-guide-using-replication.html）

这里的方法似乎是： 1. 通过复制 1 天进行完整备份 2. 在随后的几天内增量备份到不同的备份

这里似乎有 2 个缺点： 1. 备份仍然在云中，所以我支付全价而不是能够将其转移到更便宜的长期存储替代方案 2. 目前尚不清楚所描述的方法在您实际工作时如何工作循环复制（例如，如果“完整”复制是在星期一，那么每隔一天增量一次，当您在下一个星期一进行完整备份时，它不再可能恢复到之前的任何一天，例如星期日、星期六、星期五ETC）

我见过描述的其他解决方案，例如在 EC2 上安装 couchdb，复制到那里，然后将夜间备份到 amazon glacier（glacier 很便宜，但似乎 EC2 couchdb 实例在那里是一笔烦人的费用）。

有人在这里推荐吗？

[这是我几天前提出的类似问题的不同方法，我认识到“克隆”的方法是错误的，因为这将涉及太多更改并使实际数据库脱机]

解释：

我有一组系统安装（WebApp + SQL Server 数据库），其中数据库有两组对象，一个是小的“核心”，另一个是大的“instance_specific”。

这些系统需要不时在另一个系统的基础上重建（如 Excel 财务场景案例），如果“核心”可以保留，那么重建系统将是最好的，其他所有内容都从源数据库中删除和导入（源数据库有时会有所不同）

至今：

不是一个选项，因为需要重建所有核心，Azure 都不能很好地管理从 SSMS 创建的数据库，既不建立所需的连接，也不维护用户和角色......（更改数据库不是好主意）

与从备份/导入数据层应用程序恢复相同...

脚本似乎真的不是一个好的选择，不包括 SEQUENCES（可能还有其他对象）并且它的重量太大而不实用（见最后的注释）。我应该如何在 SSMS 上加载 360mb 脚本以在目标系统上执行它？

SQLAzureMW v5.15.6 Release Binary for SQL Server 2014，无法真正尝试，因为我用完了内存和异常（16gb ram）。数据库太大或有问题？

Azure 不支持基于手动使用备份 sql 函数的解决方案，例如： https ://www.mssqltips.com/sqlservertip/1243/auto-generate-sql-server-database-restore-scripts/ ...

为了让一个实例“清晰”并准备好接收备份，我真的很喜欢下一篇文章的想法，过滤掉属于核心的对象： 在一个 sql 语句中删除所有表、存储过程、触发器、约束和所有依赖项

而且由于数据量大，如果“数据流”直接从 db 到 db，而不是返回到本地，那就太好了，如果可以从目标数据库执行就更好了

所以：

在我最美好的梦想中，我想象一个 SP（类似于 stackoverflow 上的一种形式），它逐个对象地进行重构，并在其中加载数据，甚至将序列初始化为最后使用的值。

我尝试复制 TABLES（带有约束和索引，AND DATA）、SEQUENCES（带有实际值）、VIEWS、SP、FUNCTIONS，我认为仅此而已（不需要传递 USERS 和 ROLES）

我也来过 Apexsql 和 RedBeltTools，还没有尝试过，但也许是解决方案，即使我不想依赖在本地运行的 3rd 方软件。

我没有选择吗？

我应该开始研究如何构建自己的 SP 迁移工具吗？（我不确定如何/从哪里开始......）

只是一些实际源数据库的数量：

除了用户和角色，我认为这里没有其他任何遗漏，不是吗？

我在 Hbase 中创建了一个表的快照，并使用 hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot -copy-to 将其导出现在我已经从 Hbase 中删除了快照。如何将快照从 HDFS 导入回 Hbase。