mysql - 将 geonames.org 数据库中的数据导入 MySQL DB

Question

有谁如何将 geonames.org 数据导入我的数据库？我要导入的是http://download.geonames.org/export/dump/DO.zip，而我的数据库是 MySQL 数据库。

score 25 · Accepted Answer

我通过查看包含在您链接到的名为“主 'GeoName' 表具有以下字段的部分中的 zip 文件中的自述文件”找到了以下内容：

首先在您的 MySQL 实例上创建数据库和表。字段的类型在我刚刚引用上面标题的部分的每一行中给出。

CREATE DATABASE DO_test;
CREATE TABLE `DO_test`.`DO_table` (
  `geonameid` INT,
  `name` varchar(200),
  `asciiname` varchar(200),
  `alternatenames` varchar(5000),
  `latitude` DECIMAL(10,7),
  `longitude` DECIMAL(10,7),
  `feature class` char(1),
  `feature code` varchar(10),
  `country code` char(2),
  `cc2` char(60),
  `admin1 code` varchar(20),
  `admin2 code` varchar(80),
  `admin3 code` varchar(20),
  `admin4 code` varchar(20),
  `population` bigint,
  `elevation` INT,
  `gtopo30` INT,
  `timezone` varchar(100),
  `modification date` date
)
CHARACTER SET utf8;

创建表后，您可以从文件中导入数据。字段由制表符分隔，行作为换行符：

LOAD DATA INFILE '/path/to/your/file/DO.txt' INTO TABLE `DO_test`.`DO_table`;

score 16 · Accepted Answer

我最近制作了一个 shell 脚本，可以从 geonames 站点下载最新数据并将它们导入 MySQL 数据库。它基于 GeoNames 论坛上的知识，为我节省了很多时间。

它是第一个版本，但功能齐全。也许它可以提供帮助。

您可以在http://codigofuerte.github.com/GeoNames-MySQL-DataImport/访问它

score 8 · Accepted Answer

对于未来的每一个：在 2008 年的 geonames.org 论坛上，这是“将所有地名转储导入 MySQL” http://forum.geonames.org/gforum/posts/list/732.page

也google一下：将转储导入[postgresql OR SQL server OR MySQL]站点：forum.geonames.org

甚至从 2006 年开始寻找更多答案

编辑以提供概要：

在地名官方读我：http: //download.geonames.org/export/dump/。我们将找到有关转储文件及其内容的良好描述。

转储文件将直接导入 MySQL 数据表。例如：

SET character_set_database=utf8;
LOAD DATA INFILE '/home/data/countryInfo.txt' INTO TABLE _geo_countries IGNORE 51 LINES(ISO2,ISO3,ISO_Numeric,FIPSCode,AsciiName,Capital,Area_SqKm,Population,ContinentCode,TLD,CurrencyCode,CurrencyName,PhoneCodes,PostalCodeFormats,PostalCodeRegex,Languages,GeonameID,Neighbours,EquivalentFIPSCodes);
SET character_set_database=default;

请注意字符集，因为如果我们使用 2012 年旧 phpmyadmin 的 CSV LOAD DATA 就绪导入器，即使列的排序规则设置为 utf8_general_ci，我们也可能会丢失 utf 字符

目前有 4 个基本数据表：大陆、国家（countryInfo.txt）、部门（admin1）、城市或位置（地名）

admin1, 2, 3, 4 转储文件是国家内部部门的不同级别，例如admin 1是美国的州或其他国家的省。admin 2 比较详细，是州或省的内部部门。等等 3 和 4

列出的国家转储文件不仅包含城市，还包含该国家/地区的所有位置，甚至包括商店中心。还有一个巨大的文件，因为“allCountries.txt”从 zip 文件中提取后将超过 1GB。如果我们只想要城市，我们应该选择其中一个转储文件：cities1000.txt、cities5000.txt、cities15000.txt，其中的数字代表所列城市的最小人口。我们将城市存储在 geonames 数据表中（您可以将其称为地理位置或地理城市）。

在导入 *.txt 转储文件之前，请先研究一下 MySQL 文档中的 LOAD DATA 语法。

自述文本文件（也在转储页面的页脚中）提供了足够的描述，例如：

The main 'geoname' table has the following fields :
---------------------------------------------------
geonameid         : integer id of record in geonames database
name              : name of geographical point (utf8) varchar(200)
asciiname         : name of geographical point in plain ascii characters, varchar(200)
alternatenames    : alternatenames, comma separated varchar(5000)
latitude          : latitude in decimal degrees (wgs84)
longitude         : longitude in decimal degrees (wgs84)
feature class     : see http://www.geonames.org/export/codes.html, char(1)
feature code      : see http://www.geonames.org/export/codes.html, varchar(10)
country code      : ISO-3166 2-letter country code, 2 characters
cc2               : alternate country codes, comma separated, ISO-3166 2-letter country code, 60 characters
admin1 code       : fipscode (subject to change to iso code), see exceptions below, see file admin1Codes.txt for display names of this code; varchar(20)
admin2 code       : code for the second administrative division, a county in the US, see file admin2Codes.txt; varchar(80) 
admin3 code       : code for third level administrative division, varchar(20)
admin4 code       : code for fourth level administrative division, varchar(20)
population        : bigint (8 byte int) 
elevation         : in meters, integer
dem               : digital elevation model, srtm3 or gtopo30, average elevation of 3''x3'' (ca 90mx90m) or 30''x30'' (ca 900mx900m) area in meters, integer. srtm processed by cgiar/ciat.
timezone          : the timezone id (see file timeZone.txt) varchar(40)
modification date : date of last modification in yyyy-MM-dd format

另外关于 varchar(5000) 我们应该知道 MySQL 5.0 或更高版本中每行的 64kb 大小： VARCHAR(20000) 在 MySQL 中有效吗？

score 4 · Accepted Answer

这是我导入成功后的笔记。

在撰写本文时，我正在 Windows 7 上使用 MySQL 5.7.16 进行测试。按照以下步骤导入：

从官方下载页面下载所需的数据文件。就我而言，我选择了city1000.zip，因为它的大小 (21MB) 比包罗万象的allcountries.zip (1.4GB) 小得多。

根据下载页面上的readme.txt创建以下模式和表，其中字段在文本“主 'geoname' 表具有以下字段”下方指定。

CREATE SCHEMA geonames DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

CREATE TABLE geonames.cities1000 (
 id                INT,
 name              VARCHAR(200),
 ascii_name        VARCHAR(200),
 alternate_names   VARCHAR(10000) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci,
 latitude          DECIMAL(10, 7),
 longitude         DECIMAL(10, 7),
 feature_class     CHAR(1),
 feature_code      VARCHAR(10),
 country_code      CHAR(2),
 cc2               CHAR(60),
 admin1_code       VARCHAR(20),
 admin2_code       VARCHAR(80),
 admin3_code       VARCHAR(20),
 admin4_code       VARCHAR(20),
 population        BIGINT,
 elevation         INT,
 dem               INT,
 timezone          VARCHAR(100),
 modification_date DATE
)
 CHARACTER SET utf8;

只要列大小和字段类型与指定的相同，字段名称是任意的。alternate_names是专门用字符集定义的，utf8mb4因为文件中该列的值包含utf8MySQL 字符集不支持的 4 字节 unicode 字符。

检查这些参数的值：character_set_client、character_set_results、character_set_connection。⁷
```
SHOW VARIABLES LIKE '%char%';
```
如果它们不是 utf8mb4，则更改它们：
```
SET character_set_client = utf8mb4;
SET character_set_results = utf8mb4;
SET character_set_connection = utf8mb4;
```
使用从文件导入数据LOAD DATA INFILE ...
```
USE geonames;

LOAD DATA INFILE 'C:\\ProgramData\\MySQL\\MySQL Server 5.7\\Uploads\\cities1000.txt' INTO TABLE cities1000
CHARACTER SET utf8mb4 (id, name, ascii_name, alternate_names, latitude, longitude, feature_class, feature_code,
                       country_code, cc2, admin1_code, admin2_code, admin3_code, admin4_code, population, @val1,
                       @val2, timezone, modification_date)
SET elevation = if(@val1 = '', NULL, @val1), dem = if(@val2 = '', NULL, @val2);
```
声明的解释：
- 该文件应放置在 MySQL 指定的位置，以便从文件中导入数据。您可以使用来检查位置SHOW VARIABLES LIKE 'secure_file_priv';。就我而言，它是C:\ProgramData\MySQL\MySQL Server 5.7\Uploads. 在 Windows 中，您需要使用双斜杠来表示路径中的一个斜杠。当路径未正确给出时，将显示此错误：[HY000][1290] The MySQL server is running with the --secure-file-priv option so it cannot execute this statement.
- 随着CHARACTER SET utf8mb4您告诉 MySQL 从文件中期望什么编码。如果没有明确给出，或者列编码不是utf8mb4，就会出现这样的错误提示：[HY000][1300] Invalid utf8 character string: 'Gorad Safija,SOF,Serdica,Sofi,Sofia,Sofiae,Sofie,Sofii,Sofij,Sof'. ⁵在我的情况下，我发现这是由于备用名称中存在哥特式字母，例如 (id 727011)、(id 3464975) 和 (id 3893894)。这些字母需要存储为 4 字节字符（utf8mb4），而我当时的编码是 utf8，它最多只支持 3 字节字符。⁶您可以在创建表后更改列编码：
```
ALTER TABLE cities1000 MODIFY alternate_names VARCHAR(10000) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
```
  要检查列的编码：
```
SELECT character_set_name, COLLATION_NAME FROM information_schema.COLUMNS WHERE table_schema = 'geonames' AND table_name = 'cities1000' AND column_name = 'alternate_names';
```
  要测试是否可以存储字符：
```
UPDATE cities1000 SET alternate_names = '' WHERE id = 1;
```
- 某些列的值在插入之前需要“改进”，例如elevation和dem。它们是 INT 类型，文件中它们的值可以是空字符串，不能由 INT 类型列存储。因此，您需要将这些列的空字符串转换为 null。声明的后半部分就是为了这个目的。当值未先进行属性转换时，将显示此错误：[HY000][1366] Incorrect integer value: '' for column 'elevation' at row 1。^{3 , 4}

mysql - 将 geonames.org 数据库中的数据导入 MySQL DB

4 回答 4

参考

mysql - 将 geonames.org 数据库中的数据导入 MySQL DB

4 回答 4

参考

Related

Reference