3

我正在尝试从网站上抓取一些数据。这是我在 Perl 中通常会做的事情，但我真的很想摆脱 Perl。（我不是在贬低 Perl；它是一个很有价值的工具，但十多年后我仍然在为这门语言苦苦挣扎，这让我很苦恼。）由于我的需求很简单，而且性能对我来说很少成为问题，所以我想将我的网络抓取转移到 R。我知道一些 R，但我从未使用过 RCurl 或类似的库。

任务是抓取一个公开可用数据的数据库。这个问题因为我不知道如何传递参数而变得复杂，因为我只是在查看 JS 源代码并试图找出要包含在 RCurl postForm 请求中的内容。下面的代码不会抛出任何明显的错误，但也不会返回任何有用的东西。

问：我做错了什么？

[已编辑：反映建议的更改，但尚未解决]

require(RCurl)
## -----------> Form:
## http://jamaserv.jama.or.jp/newdb/eng/index.html
## -----------> Result:
## http://jamaserv.jama.or.jp/newdb/eng/prod4/prod4TsMkEntry.html

#POST /newdb/eng/prod4/prod4TsMkEntry.html makerCd=5&additionBase=1&additionInterval=1&chkSelCnd3=0&car4Cd=100005&termFrom=201103&termTo=201203&prod4TsMkEntryForm%3AdoAction=Server&prod4TsMkEntryForm%2Feng%2Fprod4%2Fprod4TsMkEntry.html=prod4TsMkEntryForm

#POST /newdb/eng/prod4/prod4TsMkEntry.html?pass chkSelCnd3=0&prod4TsMkEntryForm%2Feng%2Fprod4%2Fprod4TsMkEntry.html=prod4TsMkEntryForm&makerCd=5&additionBase=1&termTo=201203&prod4TsMkEntryForm%3AdoAction=Server&additionInterval=1&termFrom=201103&car4Cd=100005

x <- postForm('http://jamaserv.jama.or.jp/newdb/eng/prod4/prod4TsMkEntry.html?pass',
              chkSelCnd3 = '0',
              'prod4TsMkEntryForm/eng/prod4/prod4TsMkEntry.html' = 'prod4TsMkEntryForm',
              makerCd = '5',
              additionBase = '1',
              termTo = '201203',
              'prod4TsMkEntryForm:doAction' = 'Server',
              additionInterval = '1',
              termFrom = '201103',
              car4Cd = '100005',
              .opts = curlOptions(
              referer = 'http://jamaserv.jama.or.jp/newdb/eng/prod4/prod4TsMkEntry.html',
              verbose = TRUE,
              header = TRUE,
              followLocation = TRUE,
              useragent = 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en-US; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13'
  )
)

使用浏览器时，表单如下所示： 在此处输入图像描述

以上设置返回（在单独的页面上）： 在此处输入图像描述

4

2 回答 2

4

您可以添加一个.opts参数，以指定引用者（某些网站拒绝来自外部的查询），一个用户代理（某些网站拒绝未知的用户代理）并要求遵循重定向（这就是您的结果为空的原因）。如果您添加verbose=TRUE了更多信息：初始 POST 查询实际上失败，在发送表单内容之前，RCurl 尝试进行 GET 查询，而不是返回错误消息（“未选择类型（机动车辆）”）。

x <- postForm(
  ...,
  .opts = curlOptions(
    referer="http://jamaserv.jama.or.jp/newdb/eng/prod4/prod4TsMkEntry.html",
    verbose = TRUE, 
    followLocation = TRUE,
    useragent = "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en-US; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13"
  )
)
于 2012-05-18T02:16:33.123 回答
1

结果证明这是一个比它最初出现的复杂得多的问题，涉及服务器端 Javascript 和各种东西。我在这个问题中使用的简单方法似乎不可行。所以，回答我自己的问题并继续...

于 2012-06-17T08:30:36.290 回答