3

对于我正在进行的项目，我们需要客户附近数据库中的客户数据。出于这个原因，我们采用了 Microsoft 的新 Elastic Sc​​ale 解决方案。这消除了分片的复杂性，并且仍然使您能够在全球范围内扩展。

目前我面临一个相当重要的问题。我需要将数据从 1 个分片迁移到另一个分片。有一个示例应用程序（合并/拆分）可以做一些事情，但它适用于范围（1..100、101..400 等）。我正在处理的数据库与 Guids 一起工作，所以我们不能使用示例代码。

我自己创建了一个移动/合并管理工具，但在这里遇到了一个问题。起初我想用 ORM 插入所有对象和依赖项。由于一些圆形键，我无法轻松做到这一点。因此，我现在正在创建一个 SQL 脚本。SQL 脚本大约 130MB，只包含INSERT命令。

所有这些都必须在 1 个事务中完成，因为您不希望迁移完成一半。如果有错误，一切都应该回滚。

运行这个 130MB 的脚本会给我一些错误。我的本地开发机器和 SQL Azure 内存不足。SQL Azure：

缓冲池中可用内存不足

和本地：

资源池“默认”中的系统内存不足，无法运行此查询。

我已经尝试禁用索引，所以这不会在每个INSERT. 这并没有解决任何问题。

关于如何进行的任何建议？我无法真正拆分脚本，因为必须INSERT一次编辑所有数据。我认为 SSIS 包也不是一种选择。

创建我自己的数据库事务系统似乎有点矫枉过正且容易出错。

除了INSERT脚本之外，我还需要DELETE在“旧”分片/数据库上执行一个脚本，所以我猜这个解决方案也必须适用于这个脚本。我很想在 1 个事务中执行INSERT和DELETE脚本，但这在 SQL Azure（分布式事务）上（还）不可能。

4

1 回答 1

2

Azure SQL DB Elastic Sc​​ale 当前预览版中的拆分/合并版本具有已知限制，即它仅适用于范围分片映射。我假设您当前正在为您的 guid 使用列表分片映射。虽然我们目前正在努力在 Elastic Sc​​ale 预览版的更新中提供对列表分片映射和拆分/合并的支持，但我鼓励您尝试一种解决方法。这种解决方法可能会比编写自己的基础架构来在分片之间移动数据更简单，并为您节省大量工作（希望如此）。

这是我的建议：

  • 用类型 guid 上的范围分片映射替换您的列表分片映射。
  • 使数据中的每个 guid 成为单例范围：使用 guid 值本身作为左边界，并使用在其二进制表示中增加 1 的 guid 值作为其右边界（请记住，右边界是独占的，而左边界是包含的） . 您可以使用 ShardKey 类的 RawKey 属性轻松检索左边界点的二进制表示。
  • 将您的拆分/合并服务指向您的新范围分片映射。
  • 在范围分片映射上使用 Split/Merge 的 shardlet 移动操作将给定的 guid 从一个分片移动到另一个分片。

让我知道这是如何工作的。如果您在这方面遇到麻烦 - 特别是在增加 guid 时 - 请在 torsteng(at)microsoft(dot)com 上大喊大叫。

最好的，托尔斯滕

这是一段代码，可以帮助您增加 guid 值。

    static void CreateMappings()
    {
        ShardKey guid1 = new ShardKey(new Guid("<yourgui1d>"));
        ShardKey guid2 = new ShardKey(new Guid("<yourguid2>"));

        ShardKey guid1_next = NextShardKeyForGuid(guid1);
        ShardKey guid2_next = NextShardKeyForGuid(guid2);

        _map.CreateRangeMapping(new Range<Guid>(guid1.GetValue<Guid>(), guid1_next.GetValue<Guid>()), _shard1);
        _map.CreateRangeMapping(new Range<Guid>(guid2.GetValue<Guid>(), guid2_next.GetValue<Guid>()), _shard2);
    }

    static ShardKey NextShardKeyForGuid(ShardKey shardkey)
    {
        int len = 16;
        byte[] b = new byte[len];

        shardkey.RawValue.CopyTo(b, 0);

        while (--len >= 0 && ++b[len] == 0) ;

        // Treat overflow if the current key's value is the maximum in the domain
        if (len < 0)
        {
            return new ShardKey(ShardKeyType.Guid, null);
        }
        else
        {
            return ShardKey.FromRawValue(ShardKeyType.Guid, b);
        }
    }
}
于 2015-01-12T22:07:19.183 回答