0

我正在使用网络收获来废弃一些电子商务网站。我正在遍历搜索页面并在输出 xml 中获取每个产品详细信息。但现在我想在抓取时在锚（a）标签中使用正则表达式并获得特定字符串.ie,

let $linktoprod :=data($item//a[@class="fk-anchor-link"]/@href)

上面的行返回每个产品的锚标签 href 值，即，对于第一个产品，返回的值是，

/casio-sheen-analog-watch-women/p/itmdaqmvzyy23hz5?pid=WATDAQMVVNQEM9CX&ref=6df83d8f-f61f-4648-b846-403938ae92fa

现在我想使用像 /([^/\?]+)\? 这样的正则表达式 并获取最后一个 / 和 ? 之间的字符串 IE，

itmdaqmvzyy23hz5

在输出 xml 中。请任何对此有任何想法的人帮助我。谢谢你。

更新 -

  <?xml version="1.0" encoding="UTF-8"?>

<config charset="ISO-8859-1">

<function name="download-multipage-list">
        <return>
            <while condition="${pageUrl.toString().length() != 0}" maxloops="${maxloops}" index="i">
                <empty>
                    <var-def name="content">
                        <html-to-xml>
                            <http url="${pageUrl}"/>
                        </html-to-xml>
                    </var-def>

                    <var-def name="nextLinkUrl">
                        <xpath expression="${nextXPath}">
                            <var name="content"/>
                        </xpath>
                    </var-def>

                    <var-def name="pageUrl">
                        <template>${sys.fullUrl(pageUrl.toString(), nextLinkUrl.toString())}</template>
                    </var-def>
                </empty>

                <xpath expression="${itemXPath}">
                 <var name="content"/>  
                </xpath>
            </while>
        </return>
    </function>

    <var-def name="products">          
        <call name="download-multipage-list">
                 <call-param name="pageUrl">http://www.flipkart.com/watches/pr?sid=reh%2Cr18</call-param>  
                 <call-param name="nextXPath">//a[starts-with(., 'Next')]/@href</call-param>
         <call-param name="itemXPath">//div[@class="product browse-product "]</call-param>
         <call-param name="pids"></call-param>
            <call-param name="maxloops">5</call-param>
         </call>

    </var-def>
   <var-def name="scrappedContent"> 
    <!-- iterates over all collected products and extract desired data -->

    <![CDATA[ <catalog> ]]> 

        <loop item="item" index="i">
            <list><var name="products"/></list>
            <body>
            <xquery>
                    <xq-param name="item" type="node()"><var name="item"/></xq-param>
                    <xq-expression><![CDATA[
                            declare variable $item as node() external;

                    let $linktoprod :=data($item//a[@class="fk-anchor-link"]/@href)
                  let $name := data($item//div[@class="title"])

                      return
                      <product>
                      <link>{$linktoprod}</link>
                    <title>{normalize-space($name)}</title>

                     </product>
                    ]]></xq-expression>
                </xquery>

            </body>
        </loop>
        <![CDATA[ </catalog> ]]>

 </var-def>  
</config>

我的配置 xml 如上所示。在我的 xml 中何处使用正则表达式代码块？而且我希望将正则表达式应用于linktoprod，并最终将链接标记中的正则表达式输出作为输出xml。请任何人指导我。谢谢你。

4

2 回答 2

1

我不知道网络收获，但如果它支持非贪婪量词，你可以使用这个模式

/([^/]+?)\?

根据Web Harvest 用户手册 - 正则表达式，您必须插入类似这样的内容

<regexp>
    <regexp-pattern>/([^/]+?)\?</regexp-pattern>
    <regexp-source>
        /casio-sheen-analog-watch-women/p/itmdaqmvzyy23hz5?pid=WATDAQMVVNQEM9CX&amp;ref=6df83d8f-f61f-4648-b846-403938ae92fa
    </regexp-source>
    <regexp-result>
        <template>Last URL part is "${_1}"</template>
    </regexp-result>
</regexp>

在该<regexp-source>部分中，您必须插入要搜索的 URL 或变量。从手册和您的配置 xml 猜测它可能类似于

<regexp-source>
    <var>scrappedContent</var>
</regexp-source>

或者

<regexp-source>
    ${linktoprod}
</regexp-source>

我认为你必须尝试一下。

于 2013-01-07T08:37:28.357 回答
0

试试这个正则表达式：

/([^/]+)\?

您可能需要去除前导/和尾随?.

为了说明正则表达式的工作原理，这是它在 JavaScript 中的结果：

var s = "/casio-sheen-analog-watch-women/p/itmdaqmvzyy23hz5?pid=WATDAQMVVNQEM9CX&amp;ref=6df83d8f-f61f-4648-b846-403938ae92fa"
console.log(s.match(/\/([^/]+)\?/g)); //  /itmdaqmvzyy23hz5?
于 2013-01-07T08:39:11.000 回答