database - 在sql中存储域名

Question

我应该规范化域名以拆分域名、子域、tld 吗？我将每秒添加大约 100 个域/子域，并每秒查询大约 500 个域/子域。

我有一个计划，我可以在其中获得 tlds http://data.iana.org/TLD/tlds-alpha-by-domain.txt的表格

我可以有另一个用于域名的表和另一个用于子域的表

事实是我有一个在线站点正常运行时间服务，我希望每天检查所有可能的域的正常运行时间大约 100 次并爬网以查找更多信息。

什么是最好的结构。

Answer 1

如果您只存储完整的主机名，则似乎很难对例如 *.stackoverflow.com 运行有效的查询。子字符串匹配将无法利用该字段上的任何索引。另一方面，存储完整的字符串更容易，效率较低的查询可能在很长一段时间内都不是问题。

Answer 2

我会使用完整的主机名（例如 www.stackoverflow.com 和 stackoverflow.com 是不同的）。对于某些网站，两个特定的主机名可能是等价的，但对于其他网站则不然。我也看不出跟踪 TLD 会有什么用处（尤其是在即将到来的 TLD 爆炸之后）。

我可以理解您为什么要按域对其进行分类，但请记住两个不同的页面（http://example.com/store 和http://example.com/wiki）可能设置完全不同（例如不同的编程语言和数据库），所以一个很容易在另一个运行良好的情况下关闭。用户将需要基于每个 URL 的此信息。