9

考虑以下XML示例

library(xml2)

myxml <- read_xml('
<data>
  <obs ID="a">
  <name> John </name>
  <hobby> tennis </hobby>
  <hobby> golf </hobby>
  <skill> python  </skill>
  </obs>
  <obs ID="b">
  <name> Robert </name>
  <skill> R </skill>
  </obs>
  </data>
')

在这里，我想从此 XML 中获取一个（R 或 Pandas）数据框，其中包含列name和hobby.

但是，如您所见，存在对齐问题，因为hobby在第二个节点中缺少并且 John 有两个爱好。

在 R 中，我知道如何一次提取一个特定值，例如使用xml2如下：

myxml%>% 
  xml_find_all("//name") %>% 
  xml_text()

myxml%>% 
  xml_find_all("//hobby") %>% 
  xml_text()

但是如何在数据框中正确对齐这些数据？也就是说，我怎样才能获得如下的数据框（注意我是如何加入|约翰的两个爱好的）：

# A tibble: 2 × 3
    name           hobby            skill
   <chr>           <chr>            <chr>
1   John          tennis|golf       python
2 Robert            <NA>            R

在 R 中，我更喜欢使用xml2and的解决方案dplyr。在 Python 中，我想最终得到一个 Pandas 数据框。此外，在我的 xml 中还有更多我想要解析的变量。我想要一个解决方案，它允许用户解析其他变量而不会过多地弄乱代码。

谢谢！

编辑：感谢大家提供这些出色的解决方案。他们都非常好，有很多细节，很难找到最好的。再次感谢！

4

4 回答 4

4

不需要对变量进行硬编码的通用 R 解决方案。
使用xml2和 tidyverse 的purrr：

library(xml2)
library(purrr)

myxml %>% 
  xml_find_all('obs') %>%      
  # Enter each obs and return a df
  map_df(~{

    # Scan names
    node_names <- .x %>% 
      xml_children() %>% 
      xml_name() %>%
      unique()        

    # Remember ob
    ob <- .x

    # Enter each node
    map(node_names, ~{

      # Find similar nodes
      node <- xml_find_all(ob, .x) %>%
        xml_text(trim = TRUE) %>%
        paste0(collapse = '|') %>% 
        'names<-'(.x)
        # ^ we need to name the element to 
        #   overwrite it with its 'sibilings'

    }) %>% 
      # Return an 'ob' vector
      flatten()        
  })

#> # A tibble: 2 × 3
#>     name       hobby  skill
#>    <chr>       <chr>  <chr>
#> 1   John tennis|golf python
#> 2 Robert        <NA>      R

它能做什么：

  1. 它“进入” each obs，在那个 obs 中查找并存储节点名称。
  2. 对于每个节点，找到 中的所有相似节点obs，折叠它们并存储在列表中。
  3. 展平列表，覆盖具有相同名称的元素。
  4. rbind（隐含在map_df()）每个“扁平化”列表到结果data.frame中。

数据：

myxml <- read_xml('
                  <data>
                  <obs ID="a">
                  <name> John </name>
                  <hobby> tennis </hobby>
                  <hobby> golf </hobby>
                  <skill> python  </skill>
                  </obs>
                  <obs ID="b">
                  <name> Robert </name>
                  <skill> R </skill>
                  </obs>
                  </data>
                  ')
于 2017-05-31T08:45:43.873 回答
1

在 R 中，我可能会使用

library(XML)
lst <- xmlToList(xmlParse(myxml)[['/data']])
(df <- data.frame(t(sapply(lst, function(x) {
  c(x['name'], hobby=paste0(x[which(names(x)=='hobby')], collapse="|"))
}))) )
#       name           hobby
# 1    John   tennis | golf 
# 2  Robert

df[df==""] <- NA并且可能使用和trimws()删除空格进行一些抛光。

或者：

library(xml2)
library(dplyr)
`%|||%` <- function (x, y) if (length(x)==0) y else x 
(df <- data_frame(
  names = myxml %>% 
    xml_find_all("/data/obs/name") %>% 
    xml_text(trim=TRUE), 
  hobbies = myxml %>% 
    xml_find_all("/data/obs") %>% 
    lapply(function(x) xml_text(xml_find_all(x, "hobby"), T) %|||% NA_character_)
))
# # A tibble: 2 × 2
#    names   hobbies
#    <chr>    <list>
# 1   John <chr [2]>
# 2 Robert <chr [1]>
于 2017-05-30T12:20:46.377 回答
1

XML

创建一个可以处理缺失或多个节点的函数，然后将其应用于obs节点。我添加了 id 列，因此您也可以查看如何使用xmlGetAttr（"."用于 obs 节点和其他节点上的前导"."，因此它相对于集合中的当前节点）。

xpath2 <-function(x, ...){
    y <- xpathSApply(x, ...)
    ifelse(length(y) == 0, NA,  paste(trimws(y), collapse=", "))
}  
obs <- getNodeSet(doc, "//obs")   
data.frame( id = sapply(obs, xpath2, ".", xmlGetAttr, "ID"),
          name = sapply(obs, xpath2, ".//name", xmlValue),
       hobbies = sapply(obs, xpath2, ".//hobby", xmlValue),
         skill = sapply(obs, xpath2, ".//skill", xmlValue))

  id   name      hobbies  skill
1  a   John tennis, golf python
2  b Robert         <NA>      R

xml2

我不xml2经常使用，但obs如果xml_find_all有重复的标签而不是使用xml_find_first. 

obs <-  xml_find_all(myxml, "//obs")  
lapply(obs, xml_find_all, ".//hobby")

data_frame(
     name = xml_find_first(obs, ".//name") %>% xml_text(trim=TRUE),
  hobbies = sapply(obs, function(x)  paste(xml_text( xml_find_all(x, ".//hobby"), trim=TRUE), collapse=", " ) ),
    skill = xml_find_first(obs, ".//skill") %>% xml_text(trim=TRUE)
)

# A tibble: 2 x 3
    name      hobbies  skill
   <chr>        <chr>  <chr>
1   John tennis, golf python
2 Robert                   R

我使用NCBI ftpmedline17n0853.xml上的文件测试了这两种方法。这是一个包含 30,000 个 PubmedArticle 节点的 280 MB 文件，XML 包需要 102 秒来解析 pubmed id、期刊和组合多种出版物类型。xml2 代码运行了 30 分钟，然后我将其杀死，因此这可能不是最佳解决方案。

于 2017-05-30T19:53:28.923 回答
1

pandas

import pandas as pd
from collections import defaultdict
import xml.etree.ElementTree as ET


xml_txt = """<data>
  <obs ID="a">
  <name> John </name>
  <hobby> tennis </hobby>
  <hobby> golf </hobby>
  <skill> python  </skill>
  </obs>
  <obs ID="b">
  <name> Robert </name>
  <skill> R </skill>
  </obs>
  </data>"""

etree = ET.fromstring(xml_txt)

def obs2series(o):
    d = defaultdict(list)
    [d[c.tag].append(c.text.strip()) for c in o.getchildren()];
    return pd.Series(d).str.join('|')

pd.DataFrame([obs2series(o) for o in etree.findall('obs')])

         hobby    name   skill
0  tennis|golf    John  python
1          NaN  Robert       R

这个怎么运作

  • 从字符串构建元素树。否则做类似的事情et = ET.parse('my_data.xml')
  • etree.findall('obs')返回xml结构中作为'obs'标签的元素列表
  • 我将这些中的每一个传递给pd.Series构造函数obs2series
  • 在obs2series我循环遍历一个'obs'元素中的所有子节点。
  • defaultdict默认list为我可以附加到一个值的含义，即使之前没有看到该键。
  • 我最终得到了一个列表字典。我将其传递给以pd.Series获取一系列列表。
  • 使用pd.Series.str.join('|')我将其转换为我想要的一系列字符串。
  • 我一开始循环观察的列表理解现在是一个系列列表，并准备传递给pd.DataFrame构造函数。
于 2017-05-31T06:05:07.723 回答