7

我需要实现一个字符串搜索算法，该算法在位文本中找到位模式（匹配可能不是字节/字对齐的）。首先，我实现了 Boyer-Moore 算法，但比较单个位对我来说太慢了。因此，我尝试实现一个基于阻塞的版本，该版本将比较本文中描述的整个字节/单词，但它变得复杂且难以管理（部分原因是我不完全理解我在做什么。）

有没有人很好地实现了这种算法？

我的具体用例是将模式长度N >= 32、文本窗口2N和位打包到ints 中。在N这种情况下也是 char size 的倍数N % 8 == 0。我预处理一次并在更改文本时多次使用，例如 Boyer-Moore。第一场比赛就是我所需要的。性能是关键。

编辑：在成功实现 Blocked Boyer-Moore 算法后，我发现没有任何改进（我的一点一点的版本更快！）这可能是我自己的错误，因为我一直在绞尽脑汁优化它没有多行评论就没有意义，但它仍然很慢。在这里。

4

3 回答 3

3

如果 N 很大（例如，大于 16 位），那么对位模式的 8 个移位副本进行初步搜索将非常容易（截断模式以消除“部分字节”）。然后，您可以通过查看相邻位来优化结果。字节搜索（针对 8 个移位副本）可以使用 Boyer-Moore 或类似有效的算法来完成。

如果您想知道：8 字节搜索可能比一位搜索更快，因为每个字节比较只需要一条指令，而进行位搜索所需的位操作需要更多的指令。但是，您应该始终确定。

于 2012-08-24T05:14:45.700 回答
3

概述

我是 SO 社区的新手，但我期待回馈一些东西。

有趣的问题。我整理了一个实现，它只进行基于字节的比较（借助预先计算的位模式和位掩码），而不是在比较时执行昂贵的位操作。因此，它应该相当快。它没有实现为Boyer-Moore 算法讨论的任何 Shift 规则（性能优化） ，因此可以进一步改进。

尽管此实现确实取决于 8 位机器上的模式位 % CHAR_BIT == 0 的数量，满足您的标准 N % 8 == 0，但实现将找到非字节对齐的位模式。（它目前还需要 8 位字符（ CHAR_BIT == 8 ），但在不太可能的情况下，您的系统不使用 8 位字符，通过将所有数组/向量从 uint8_t 更改为 char 并调整它们包含的值以反映正确的位数。）

鉴于搜索不进行任何位旋转（除了预先计算的字节掩码），它应该是非常高效的。

算法总结

简而言之，指定要搜索的模式，实现将其移动一位并记录移动后的模式。它还计算移位模式的掩码，对于非字节对齐的位模式，比较开始和结束的一些位需要被忽略以确保正确的行为。

对每个移位位置中的所有模式位进行搜索，直到找到匹配项或到达数据缓冲区的末尾。

//
//  BitStringMatch.cpp
//

#include "stdafx.h"
#include <iostream>
#include <cstdint>
#include <vector>
#include <memory>
#include <cassert>

int _tmain(int argc, _TCHAR* argv[])
{
    //Enter text and pattern data as appropriate for your application.  This implementation assumes pattern bits % CHAR_BIT == 0
    uint8_t text[] = { 0xcc, 0xcc, 0xcc, 0x5f, 0xe0, 0x1f, 0xe0, 0x0c }; //1010 1010, 1010 1010, 1010 1010, 010*1 1111, 1110 0000, 0001 1111, 1110 0000, 000*0 1010 
    uint8_t pattern[] = { 0xff, 0x00, 0xff, 0x00 }; //Set pattern to 1111 1111, 0000 0000, 1111 1111, 0000 0000

    assert( CHAR_BIT == 8 ); //Sanity check
    assert ( sizeof( text ) >= sizeof( pattern ) ); //Sanity check

    std::vector< std::vector< uint8_t > > shiftedPatterns( CHAR_BIT, std::vector< uint8_t >( sizeof( pattern ) + 1, 0 ) );  //+1 to accomodate bit shifting of CHAR_BIT bits.
    std::vector< std::pair< uint8_t, uint8_t > > compareMasks( CHAR_BIT, std::pair< uint8_t, uint8_t >( 0xff, 0x00 ) );

    //Initialize pattern shifting through all bit positions
    for( size_t i = 0; i < sizeof( pattern ); ++i ) //Start by initializing the unshifted pattern
    {
        shiftedPatterns[ 0 ][ i ] = pattern[ i ];
    }

    for( size_t i = 1; i < CHAR_BIT; ++i )  //Initialize the other patterns, shifting the previous vector pattern to the right by 1 bit position
    {
        compareMasks[ i ].first >>= i;  //Set the bits to consider in the first...
        compareMasks[ i ].second = 0xff << ( CHAR_BIT - i ); //and last bytes of the pattern

        bool underflow = false;
        for( size_t j = 0; j < sizeof( pattern ) + 1; ++j )
        {
            bool thisUnderflow = shiftedPatterns[ i - 1 ][ j ] & 0x01 ? true : false; 
            shiftedPatterns[ i ][ j ] = shiftedPatterns[ i - 1][ j ] >> 1;

            if( underflow ) //Previous byte shifted out a 1; shift in a 1
            {
                shiftedPatterns[ i ][ j ] |= 0x80;  //Set MSb to 1
            }

            underflow = thisUnderflow;
        }
    }

    //Search text for pattern
    size_t maxTextPos = sizeof( text ) - sizeof( pattern );
    size_t byte = 0;
    bool match = false;
    for( size_t byte = 0; byte <= maxTextPos && !match; ++byte )
    {
        for( size_t bit = 0; bit < CHAR_BIT && ( byte < maxTextPos || ( byte == maxTextPos && bit < 1 ) ); ++bit )
        {
            //Compare first byte of pattern
            if( ( shiftedPatterns[ bit ][ 0 ] & compareMasks[ bit ].first ) != ( text[ byte ] & compareMasks[ bit ].first ) )
            {
                continue;
            }

            size_t foo = sizeof( pattern );
            //Compare all middle bytes of pattern
            bool matchInProgress = true;
            for( size_t pos = 1; pos < sizeof( pattern ) && matchInProgress; ++pos )
            {
                matchInProgress = shiftedPatterns[ bit ][ pos ] == text[ byte + pos ];
            }
            if( !matchInProgress )
            {
                continue;
            }

            if( bit != 0 )  //If compare failed or we're comparing the unshifted pattern, there's no need to compare final pattern buffer byte
            {
                if( ( shiftedPatterns[ bit ][ sizeof( pattern ) ] & compareMasks[ bit ].second ) != ( text[ byte + sizeof( pattern ) ] & compareMasks[ bit ].second ) )
                {
                    continue;
                };
            }

            //We found a match!
            match = true;   //Abandon search
            std::cout << "Match found!  Pattern begins at byte index " << byte << ", bit position " << CHAR_BIT - bit - 1 << ".\n";
            break;
        }
    }
    //If no match
    if( !match )
    {
        std::cout << "No match found.\n";
    }

    std::cout << "\nPress a key to exit...";
    std::getchar();

    return 0;
}

我希望这是有帮助的。

于 2012-08-30T09:04:40.617 回答
0

性能将高度依赖于位模式的类型。例如，如果“key”位序列和“search”位序列有很大不同，那么一些字节移位解决方案，甚至你的逐位解决方案将会非常快。因为在绝大多数位偏移处，第一个比较将失败，您可以继续进行下一个比较。

如果序列高度相似，那么您需要更复杂的算法。想象一下，例如 100 万位都是 10101010101010 ......除了中间的某个地方，一个 1 被翻转为零，例如 ...101000101 ......并且您正在寻找一个以 " 结尾的 10k 位序列...101000" 那么字节移位比较算法将表现不佳，因为它们必须比较大量字节 - 8 次 - 在匹配失败 50 万次之前。

因此，您的数据的统计特征在这里很重要。此外，如果密钥字符串被多次使用，或者您希望有多个匹配项，那么对缓冲区进行预处理可以加快速度。

例如，您可以对缓冲区进行一次转换，以将每对字节和每个字节中的位数相加，然后对每个键字符串执行此操作。然后您可以扫描这两个缓冲区。对于可能匹配的字符串，密钥字符串的每个字节中的位数必须始终小于每个字节对中的位数，并且密钥字符串的每个字节对中的位数必须始终小于搜索字符串的每个字节中的位数。

如果您的密钥字符串很大，那么您可以标记低位和高位“锚”并扫描它们。例如，假设我正在比较一个 10k 密钥字符串，该字符串在偏移量 x、y、z 处有两个 0 字节。然后我可以扫描我的搜索字符串以查找那些偏移量处单个字节中的位数与零匹配的位置。那会非常快。

于 2012-08-30T19:13:43.710 回答