33

我正在尝试在 Python 中使用 lxml 和 xpath 获取子节点的 HTML 内容。如下代码所示，我想找到每个产品节点的 html 内容。它有没有像product.html这样的方法？

productGrids = tree.xpath("//div[@class='name']/parent::*")
for product in productGrids:
    print #html content of product
4

6 回答 6

48 
from lxml import etree
print(etree.tostring(root, pretty_print=True))

您可能会在这里看到更多示例：http: //lxml.de/tutorial.html

于 2013-02-15T14:05:25.630 回答
17

我相信您想使用以下tostring()方法：

from lxml import etree

tree = etree.fromstring('<html><head><title>foo</title></head><body><div class="name"><p>foo</p></div><div class="name"><ul><li>bar</li></ul></div></body></html>')
for elem in tree.xpath("//div[@class='name']"):
     # pretty_print ensures that it is nicely formatted.
     print etree.tostring(elem, pretty_print=True)
于 2013-02-15T14:08:41.987 回答
0

product.text_content()如果您要查找的是文本内容而不是 HTML，则可以使用。

于 2019-03-13T06:24:08.187 回答
0

获取innerHTML 或 innerXML
的简单函数 。
直接试试https://pyfiddle.io/fiddle/631aa049-2785-4c58-bf82-eff4e2f8bedb/
。

功能


def innerXML(elem):
    elemName = elem.xpath('name(/*)')
    resultStr = ''
    for e in elem.xpath('/'+ elemName + '/node()'):
        if(isinstance(e, str) ):
            resultStr = resultStr + ''
        else:
            resultStr = resultStr + etree.tostring(e, encoding='unicode')

    return resultStr

调用

XMLElem = etree.fromstring("<div>I am<name>Jhon <last.name> Corner</last.name></name>.I work as <job>software engineer</job><end meta='bio' />.</div>")
print(innerXML(XMLElem))

.
背后的逻辑

  • 首先获取最外层的元素名称，
  • 然后获取所有子节点
  • 使用将所有子节点转换为字符串tostring
  • 连接他们
于 2019-12-23T07:01:01.160 回答
-1

在您想要的特定字段（在 chrome 的检查器中）右键单击（复制，复制 xpath）后，您可能会得到如下内容：

//*[@id="specialID"]/div[12]/div[2]/h4/text()[1]

如果您想要每个“specialID”的文本元素

//*[@id="specialID"]/div/div[2]/h4/text()[1]

您可以选择另一个字段，它将交错结果

//*[@id="specialID"]/div/div[2]/h4/text()[1] | //*[@id="specialID"]/div/some/weird/path[95]

示例可以改进，但它说明了这一点：

//*[@id="mw-content-text"]/div/ul[1]/li[11]/text()


from lxml import html
import requests
page = requests.get('https://en.wikipedia.org/wiki/Web_scraping')
tree = html.fromstring(page.content)
data = tree.xpath('//*[@id="mw-content-text"]/div/ul[1]/li/a/text() | //*[@id="mw-content-text"]/div/ul[1]/li/text()[1]')
print(len(data))
for i in range(len(data)):
    print(data[i])
于 2017-06-07T18:26:52.410 回答
-2

另一种方法

x=doc.xpath("//div[@class='name']/parent::*")
print(map(etree.tostring,x))
于 2015-08-20T14:14:47.327 回答