1

我正在尝试使用 C# 将巨大的 SQL 文件（超过几 GB）上传到远程 mysql 服务器。

有没有标准的方法；

  1. 开始将 SQL 文件读入内存
  2. 一旦我们有可用的东西就停止
  3. 执行那个位
  4. 从内存中删除该位
  5. 阅读下一个可用部分
  6. 等等。

还是我必须自己编写正则表达式或其他东西？文件太大，无法一口气读入内存。

一个 sql 文件的开始（如果它有帮助的话）

-- MySQL dump 10.13  Distrib 5.1.49, for debian-linux-gnu (x86_64)
--
-- Host: localhost    Database: qqqq
-- ------------------------------------------------------
-- Server version   5.1.49-3

/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!40101 SET NAMES utf8 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;

--
-- Current Database: `qqqq`
--

CREATE DATABASE /*!32312 IF NOT EXISTS*/ `qqqq` /*!40100 DEFAULT CHARACTER SET latin1 */;

USE `qqqq`;

--
-- Table structure for table `config`
--

DROP TABLE IF EXISTS `config`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `config` (
  `name` varchar(200) NOT NULL,
  `value` varchar(200) NOT NULL,
  `timestamp` int(11) NOT NULL,
  UNIQUE KEY `name` (`name`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `config`
--

LOCK TABLES `config` WRITE;
/*!40000 ALTER TABLE `config` DISABLE KEYS */;
INSERT INTO `config` VALUES ('someConfigValue','324',0),('someConfigValue2','27',0),('someConfigValue3','0',0);
/*!40000 ALTER TABLE `config` ENABLE KEYS */;
UNLOCK TABLES;

我想我不能每次都拆分它 a ; 发生，因为其中一个也可能在文本字符串中。

4

4 回答 4

3

当您通过mysqldump实用程序创建此转储时，我建议您转储部分. 以下是部分转储的一些技巧。

按表拆分

如果您有很多表，您可以按表拆分转储过程

mysqldump database table1 > table.sql
mysqldump database table2 table3 > table2-3.sql

按行拆分

如果有些表有数百万行，则可以在转储时将其按行拆分。假设您有一个表bigtable并且它有一个自动列id，以下 2 个命令将其拆分为奇偶编号的自动列。

mysqldump --where="id%2=1" database bigtable  > bigtable_part1.sql
mysqldump --where="id%2=0" database bigtable  > bigtable_part2.sql

如果不存在自动列，则需要依赖其他启发式方法。

mysqldump --where="gender='M'" database users  > users_male.sql
mysqldump --where="gender='F'" database users  > users_female.sql
于 2012-05-28T13:24:52.580 回答
0

尝试寻找常见的断点，或可以安全分割 SQL 文件的类似位置。例如：

--
-- (command here)
--

似乎用来表示一个“重要”命令，它出现在一个操作块之前。您可以尝试将其拆分为每个--\n--常见的“安全点”，因为应该在查询中转义换行符。

于 2012-05-28T13:18:21.087 回答
0

您可以尝试在内存中加载一些 SQL，然后使用“ SET PARSEONLY ON ”在服务器上执行它。如果解析成功，则尝试执行并继续下一步，如果没有，则加载一小段文本（直到下一个';'）并重试。

当然，它解析好并不意味着它会执行好，但我假设你已经对失败的执行进行了错误处理，对吧？:)

于 2012-05-28T13:21:42.890 回答
0

我有一个类似的问题，我最终做的是使用系统拆分命令拆分 sql 文件。

拆分 -l 1000 import.sql 拆分文件

以上将每1000行拆分sql文件。

希望这可以帮助某人。

于 2013-06-26T10:21:37.977 回答