1

我需要挖掘一些 html 文件,我想首先将它们转换为树的可读形式,一行中的一个标签。不过我没有html经验。有人可以更正我的代码并指出我忘记的规则吗?

我的代码不适用于现实生活中的页面。在程序执行结束时,嵌套计数器应设置为 0,因为程序应保留它遇到的所有嵌套标记。它不是。对于一个 facebook 页面,还有 2000 多个标签保持打开状态。

在有人建议我使用图书馆之前,我还没有看到任何好的图书馆。对于我的页面转换为 xml 以某种方式失败并且 htmlcxx 库没有适当的文档。

#include <cstdio>

char get_char( FILE *stream ) {
    char c;
    do
        c = getc(stream);
    while ( c == ' ' || c == '\n' || c == '\t' || c == '\r' );
    return c;
}

void fun( FILE *stream, FILE *out ) {   
    int counter = -1;
    char c;

    do {
        c = get_char(stream);
        if ( c == EOF )
            break;

        if ( c != '<' ) { // print text
            for ( int i = counter + 1; i; --i )
                putc( ' ', out );
            fprintf( out, "TEXT: " );
            do {
                if ( c == '\n' )
                    fprintf( out, "<BR>" ); // random separator
                else
                    putc( c, out );
                c = getc( stream );
            } while ( c != '<' );
            putc( '\n', out );
        }

        c = getc( stream );
        if ( c != '/' ) { // nest deeper
            ++counter;
            for ( int i = counter; i; --i )
                putc( ' ', out );
        } else { // go back in nesting
            --counter;
            // maybe here should be some exception handling
            do // assuming there's no strings in quotation marks here
                c = getc( stream );
            while ( c != '>' );
            continue;
        }

        ungetc( c, stream );
        do { // reading tag
            c = getc(stream);
            if( c == '/' ) { // checking if it's not a <blahblah/>
                c = getc(stream);
                if ( c == '>' ) {
                    --counter;
                    break;
                }
                putc( '/', out );
                putc( c, out );
            } else if ( c == '"' ) { // not parsing strings put in quotation marks
                do {
                    putc( c, out ); c = getc( stream );
                    if ( c == '\\' ) {
                        putc( c, out ); c = getc( stream );
                        if ( c == '"' ) {
                            putc( c, out ); c = getc( stream );
                        }
                    }
                } while ( c != '"' );
                putc( c, out );
            } else if ( c == '>' ) { // end of tag
                break;
            } else // standard procedure
                putc( c, out );
        } while ( true );
        putc( '\n', out );
    } while (true);
    fprintf( out, "Counter: %d", counter );
}

int main() {
    const char *name = "rfb.html";
    const char *oname = "out.txt";
    FILE *file = fopen(name, "r");
    FILE *out = fopen(oname, "w");
    fun( file, out );
    return 0;
}
4

2 回答 2

1

HTML != XML 标签可以是非封闭的,例如<img ...>被认为等于<img ... />

于 2013-02-22T12:44:57.503 回答
0

如此有趣和有用的话题,几乎没有答案。真的很奇怪……

很难找到好的 C++ HTML 解析器!我试图引导正确的方向......它可能会帮助你继续前进......

Lib curl 页面有一些源代码可以帮助您进行操作。遍历 dom 树的文档。您不需要 xml 解析器。在格式错误的 html 上不会失败。

http://curl.haxx.se/libcurl/c/htmltidy.html

另一种选择是 htmlcxx。从网站描述:

htmlcxx 是一个用于 C++ 的简单的非验证 css1 和 html 解析器。

可以尝试像 tidyHTML 这样的库 - http://tidy.sourceforge.net(免费)

如果您使用的是 Qt 4.6,则可以使用 QWebElement。一个简单的例子:

框架->setHtml(HTML); QWebElement document = frame->documentElement(); QList imgs = document.findAll("img"); 这是另一个例子。http://doc.qt.digia.com/4.6/webkit-simpleselector.html

于 2013-02-23T12:56:53.557 回答