有人知道 mysqldump 中某些表的屏蔽(匿名化)效率吗?我已经完成了我的解析器,但不幸的是,它在大转储(比如说 1GB++ 的转储)上效果不佳,因为由于解析,它确实增加了转储时间。
我所做的是首先解析表列(这不应该花很长时间)并解析特定表的整个插入字符串。
我正在使用 ruby,如果可能的话,我想使用它。
我还研究了导出转储、转储、通过内部 ruby 代码更新(屏蔽)它然后再次导出转储的想法。虽然我还没试过这需要多长时间。
当前的工作流程是:从服务器获取转储,解压缩,然后转储到 mysql
新的将从服务器获取转储,解压缩,屏蔽机密数据并转储到 mysql
当前的工作流程最多需要 2 个小时来进行 1-2GB++ 转储,但不幸的是,我已经在新的转储上花费了 4 个小时,但解析/屏蔽部分仍未完成。
我还被建议通过删除变量和消耗更多内存的东西来即兴编写代码,因为据说 ruby gc 的比例不是 1:1。我相信这是在 REE(ruby 企业版)上优化的,但我现在也在使用 REE。
有没有人这样做,也许分享他们的想法?谢谢。