我有大约 90000 个 IPv4 地址范围,其中包含与每个范围相关的数据
例如
1.0.0.0 - 1.1.0.0 -> "foo"
2.0.0.0 - 10.0.0.0 -> "bar"
给定一个 IP 地址,我需要检索相关数据。我怎样才能有效地做到这一点?
我想我可以通过将地址转换为单个整数来使事情变得更容易,但是最好使用哪种数据结构来存储它以实现快速搜索?
澄清- 我正在搜索单个 IP,而不是范围(例如“192.168.0.1”)
谢谢
我有大约 90000 个 IPv4 地址范围,其中包含与每个范围相关的数据
例如
1.0.0.0 - 1.1.0.0 -> "foo"
2.0.0.0 - 10.0.0.0 -> "bar"
给定一个 IP 地址,我需要检索相关数据。我怎样才能有效地做到这一点?
我想我可以通过将地址转换为单个整数来使事情变得更容易,但是最好使用哪种数据结构来存储它以实现快速搜索?
澄清- 我正在搜索单个 IP,而不是范围(例如“192.168.0.1”)
谢谢
对单个数组中的非重叠间隔的末端进行排序。用一个标志标记每个结束,指示它是间隔的开始还是结束,如下所示:
1.0.0.0 1.1.0.0 2.0.0.0 10.0.0.0
start end start end
现在使用目标地址运行二进制搜索,例如3.2.1.0
. 插入点落在 上2.0.0.0
,标记为start
。这意味着这3.2.1.0
是间隔之一。
现在考虑搜索1.2.3.4
. 它的插入点落在 上1.1.0.0
,标记为end
。由于1.2.3.4
不等于1.1.0.0
,我们知道1.2.3.4
不是区间之一。
搜索的成本是Log(N)
,其中N
是区间数。
如果您喜欢冒险,请考虑实施interval tree
. 但是,对于非重叠间隔,这可能不值得。
如果您只需要支持 IPv4 地址而不支持 IPv6 地址,则可以将每个地址存储为UInt32
. 这将使比较它们变得非常容易和有效。
如果 IP 范围不重叠,并且您可以将它们排序在列表中,则可以使用二进制搜索的变体来快速查找范围。
查找从 0 到 20 的数字是否包括,具有以下范围:
2-5 -> "a"
6-7 -> "b"
9-11 -> "c"
12-12 -> "d"
15-18 -> "e"
19-19 -> "f"
在一个循环中 1,000,000 次,包括 1 次 RangeCollection 的创建和初始化:只有 3 秒!
剩下要做的就是准备一个 IEnumerable 元组,其中第一个 int 是最小 IP int-value,第二个是最大值,TValue 是与该 min~max 范围相关联的数据。
这是我的实现:
public class RangeCollection<TValue>
{
private readonly int[] _mins;
private readonly int[] _maxs;
private readonly TValue[] _values;
public RangeCollection(params Tuple<int, int, TValue>[] input)
: this((IEnumerable<Tuple<int, int, TValue>>)input)
{
}
public RangeCollection(IEnumerable<Tuple<int, int, TValue>> input)
{
var tuples = input.OrderBy(tuple => tuple.Item1).ToArray();
for (var i = 1; i < tuples.Length; i++)
{
if (tuples[i].Item1 <= tuples[i - 1].Item2)
{
throw new ArgumentException("Ranges should not overlap.");
}
}
this._mins = new int[tuples.Length];
this._maxs = new int[tuples.Length];
this._values = new TValue[tuples.Length];
for (var i = 0; i < tuples.Length; i++)
{
var tuple = tuples[i];
this._mins[i] = tuple.Item1;
this._maxs[i] = tuple.Item2;
this._values[i] = tuple.Item3;
}
}
public bool TryGetValue(int key, out TValue value)
{
if (this.Contains(key, out key))
{
value = this._values[key];
return true;
}
value = default(TValue);
return false;
}
public bool Contains(int key)
{
return this.Contains(key, out key);
}
private bool Contains(int key, out int index)
{
index = 0;
if (this._mins.Length == 0 || key < this._mins[0] || key > this._maxs[this._maxs.Length - 1])
{
return false;
}
var low = 0;
var high = this._mins.Length - 1;
while (high >= low)
{
index = (low + high) / 2;
var cmp = this._mins[index].CompareTo(key);
if (cmp == 0)
{
return true;
}
if (cmp == 1)
{
high = index - 1;
}
else
{
low = index + 1;
}
}
if (this._mins[index] > key)
{
index--;
}
else if (this._mins[index + 1] <= key)
{
index++;
}
return this._maxs[index] >= key;
}
}
用法:
var collection = new RangeCollection<string>(new Tuple<int, int, string>(2, 5, "a"),
new Tuple<int, int, string>(6, 7, "b"),
new Tuple<int, int, string>(9, 11, "c"),
new Tuple<int, int, string>(12, 12, "d"),
new Tuple<int, int, string>(15, 18, "e"),
new Tuple<int, int, string>(19, 19, "f"));
for (var i = 0; i <= 20; i++)
{
string val;
if (collection.TryGetValue(i, out val))
{
Debug.WriteLine("Contains {0}. Value: {1}", i, val);
}
else
{
Debug.WriteLine("Doesn't contain " + i);
}
}
/* Output:
Doesn't contain 0
Doesn't contain 1
Contains 2. Value: a
Contains 3. Value: a
Contains 4. Value: a
Contains 5. Value: a
Contains 6. Value: b
Contains 7. Value: b
Doesn't contain 8
Contains 9. Value: c
Contains 10. Value: c
Contains 11. Value: c
Contains 12. Value: d
Doesn't contain 13
Doesn't contain 14
Contains 15. Value: e
Contains 16. Value: e
Contains 17. Value: e
Contains 18. Value: e
Contains 19. Value: f
Doesn't contain 20
*/