13

我正在我的数据库和我的 C# 代码之间实现一个缓存层。这个想法是根据查询的参数缓存某些数据库查询的结果。数据库使用默认排序规则 -SQL_Latin1_General_CP1_CI_ASLatin1_General_CI_AS,基于一些简短的谷歌搜索,我相信它等同于相等,只是排序不同。

我需要一个 .NET StringComparer,它可以给我相同的行为,至少对于相等性测试和哈希码生成,因为数据库的排序规则正在使用。目标是能够在 C# 代码中使用 .NET 字典中的 StringComparer 来确定特定的字符串键是否已经在缓存中。

一个非常简单的例子:

var comparer = StringComparer.??? // What goes here?

private static Dictionary<string, MyObject> cache =
    new Dictionary<string, MyObject>(comparer);

public static MyObject GetObject(string key) {
    if (cache.ContainsKey(key)) {
        return cache[key].Clone();
    } else {
        // invoke SQL "select * from mytable where mykey = @mykey"
        // with parameter @mykey set to key
        MyObject result = // object constructed from the sql result
        cache[key] = result;
        return result.Clone();
    }
}
public static void SaveObject(string key, MyObject obj) {
    // invoke SQL "update mytable set ... where mykey = @mykey" etc
    cache[key] = obj.Clone();
}

StringComparer 与数据库的排序规则匹配很重要的原因是误报和漏报都会对代码产生不良影响。

如果 StringComparer 说当数据库认为两个键 A 和 B 是不同的时它们是相等的,那么数据库中可能有两行具有这两个键,但是如果要求 A 和B 连续 - 因为 B 的 get 将错误地命中缓存并返回为 A 检索的对象。

如果 StringComparer 在数据库认为 A 和 B 相等的情况下说 A 和 B 是不同的,那么问题就更加微妙了,但问题同样如此。两个键的 GetObject 调用都可以,并返回对应于同一数据库行的对象。但是随后使用键 A 调用 SaveObject 会使缓存不正确;对于具有旧数据的键 B,仍然会有一个缓存条目。随后的 GetObject(B) 将提供过时的信息。

因此,为了使我的代码正常工作,我需要 StringComparer 来匹配数据库行为以进行相等性测试和哈希码生成。到目前为止,我的谷歌搜索已经产生了很多关于 SQL 排序规则和 .NET 比较并不完全等价的信息,但没有详细说明差异是什么,它们是否仅限于排序差异,或者是否有可能找到如果不需要通用解决方案,则等效于特定SQL 排序规则的 StringComparer。

(旁注 - 缓存层是通用的,所以我不能对密钥的性质和排序规则是否合适做出特别的假设。我数据库中的所有表共享相同的默认服务器排序规则。我只需要匹配存在的排序规则)

4

4 回答 4

13

我最近遇到了同样的问题:我需要一个IEqualityComparer<string>行为类似于 SQL 的样式。我试过CollationInfo了,它的EqualityComparer. 如果您的数据库始终是_AS(对口音敏感),那么您的解决方案将起作用,但如果您更改排序规则为AIWI或任何“不敏感”,否则散列将中断。
为什么?如果您反编译Microsoft.SqlServer.Management.SqlParser.dll并查看内部,您会发现CollationInfo内部使用CultureAwareComparer.GetHashCode(它是 mscorlib.dll 的内部类),最后它执行以下操作:

public override int GetHashCode(string obj)
{
  if (obj == null)
    throw new ArgumentNullException("obj");
  CompareOptions options = CompareOptions.None;
  if (this._ignoreCase)
    options |= CompareOptions.IgnoreCase;
  return this._compareInfo.GetHashCodeOfString(obj, options);
}

如您所见,它可以为“aa”和“AA”生成相同的哈希码,但不能为“äå”和“aa”(如果您在大多数文化中忽略变音符号(AI),它们是相同的,所以它们应该具有相同的哈希码)。我不知道为什么 .NET API 会受此限制,但您应该了解问题出在哪里。要为带有变音符号的字符串获取相同的哈希码,您可以执行以下操作:创建实现IEqualityComparer<T>实现,该实现GetHashCode将通过反射调用适当CompareInfo的对象GetHashCodeOfString,因为此方法是内部的,不能直接使用。但是直接用正确调用它CompareOptions会产生预期的结果:见这个例子:

    static void Main(string[] args)
    {
        const string outputPath = "output.txt";
        const string latin1GeneralCiAiKsWs = "Latin1_General_100_CI_AI_KS_WS";
        using (FileStream fileStream = File.Open(outputPath, FileMode.Create, FileAccess.Write))
        {
            using (var streamWriter = new StreamWriter(fileStream, Encoding.UTF8))
            {
                string[] strings = { "aa", "AA", "äå", "ÄÅ" };
                CompareInfo compareInfo = CultureInfo.GetCultureInfo(1033).CompareInfo;
                MethodInfo GetHashCodeOfString = compareInfo.GetType()
                    .GetMethod("GetHashCodeOfString",
                    BindingFlags.Instance | BindingFlags.NonPublic,
                    null,
                    new[] { typeof(string), typeof(CompareOptions), typeof(bool), typeof(long) },
                    null);

                Func<string, int> correctHackGetHashCode = s => (int)GetHashCodeOfString.Invoke(compareInfo,
                    new object[] { s, CompareOptions.IgnoreCase | CompareOptions.IgnoreNonSpace, false, 0L });

                Func<string, int> incorrectCollationInfoGetHashCode =
                    s => CollationInfo.GetCollationInfo(latin1GeneralCiAiKsWs).EqualityComparer.GetHashCode(s);

                PrintHashCodes(latin1GeneralCiAiKsWs, incorrectCollationInfoGetHashCode, streamWriter, strings);
                PrintHashCodes("----", correctHackGetHashCode, streamWriter, strings);
            }
        }
        Process.Start(outputPath);
    }
    private static void PrintHashCodes(string collation, Func<string, int> getHashCode, TextWriter writer, params string[] strings)
    {
        writer.WriteLine(Environment.NewLine + "Used collation: {0}", collation + Environment.NewLine);
        foreach (string s in strings)
        {
            WriteStringHashcode(writer, s, getHashCode(s));
        }
    }

输出是:

Used collation: Latin1_General_100_CI_AI_KS_WS
aa, hashcode: 2053722942
AA, hashcode: 2053722942
äå, hashcode: -266555795
ÄÅ, hashcode: -266555795

Used collation: ----
aa, hashcode: 2053722942
AA, hashcode: 2053722942
äå, hashcode: 2053722942
ÄÅ, hashcode: 2053722942

我知道它看起来像 hack,但是在检查了反编译的 .NET 代码之后,我不确定是否有任何其他选项以防万一需要通用功能。因此,请确保您不会陷入使用这个不完全正确的 API 的陷阱。
更新:
使用CollationInfo. 另外应该足够注意在你的代码库中搜索“字符串陷阱”的位置,所以如果字符串比较、哈希码、相等应该更改为“SQL collat​​ion-like”那些地方 100% 将被破坏,所以你'必须找出并检查所有可以破坏的地方。
更新#2:
有更好更简洁的方法可以让 GetHashCode() 处理 CompareOptions。有类SortKey可以与 CompareOptions 一起正常工作,并且可以使用来检索它

CompareInfo.GetSortKey(yourString, yourCompareOptions).GetHashCode()

这是.NET 源代码和实现的链接。

更新 #3:
如果您使用的是 .NET Framework 4.7.1+,您应该使用这个最近的答案提出的新GlobalizationExtensions

于 2014-05-29T16:34:23.797 回答
8

看看CollationInfo课堂。它位于一个名为的程序集中, Microsoft.SqlServer.Management.SqlParser.dll尽管我不完全确定从哪里得到它。有一个静态列表Collations(名称)和一个静态方法GetCollationInfo(按名称)。

每个CollationInfo都有一个Comparer。它与 a 不完全相同,StringComparer但具有相似的功能。

编辑: Microsoft.SqlServer.Management.SqlParser.dll 是共享管理对象 (SMO) 包的一部分。可以在此处为 SQL Server 2008 R2 下载此功能:

http://www.microsoft.com/download/en/details.aspx?id=16978#SMO

编辑: CollationInfo确实有一个名为的属性EqualityComparer,它是一个IEqualityComparer<string>.

于 2012-02-21T21:04:00.873 回答
2

SQL Server 的Server.GetStringComparer可能会有一些用处。

于 2012-02-21T21:08:26.073 回答
2

下面就简单多了:

System.Globalization.CultureInfo.GetCultureInfo(1033)
              .CompareInfo.GetStringComparer(CompareOptions.IgnoreCase | CompareOptions.IgnoreKanaType | CompareOptions.IgnoreWidth)

它来自https://docs.microsoft.com/en-us/dotnet/api/system.globalization.globalizationextensions?view=netframework-4.8

它根据给定的选项正确计算哈希码。您仍然需要手动修剪尾随空格,因为它们被 ANSI sql 丢弃但不在 .net 中

这是一个修剪空格的包装器。

using System.Collections.Generic;
using System.Globalization;

namespace Wish.Core
{
    public class SqlStringComparer : IEqualityComparer<string>
    {
        public static IEqualityComparer<string> Instance { get; }

        private static IEqualityComparer<string> _internalComparer =
            CultureInfo.GetCultureInfo(1033)
                       .CompareInfo
                       .GetStringComparer(CompareOptions.IgnoreCase | CompareOptions.IgnoreKanaType | CompareOptions.IgnoreWidth);



        private SqlStringComparer()
        {
        }

        public bool Equals(string x, string y)
        {
            //ANSI sql doesn't consider trailing spaces but .Net does
            return _internalComparer.Equals(x?.TrimEnd(), y?.TrimEnd());
        }

        public int GetHashCode(string obj)
        {
            return _internalComparer.GetHashCode(obj?.TrimEnd());
        }

        static SqlStringComparer()
        {
            Instance = new SqlStringComparer();
        }
    }
}

于 2019-06-20T22:01:39.037 回答