2

在以下链接中 https://github.com/swannodette/enlive-tutorial/blob/master/src/tutorial/scrape1.clj

它显示了如何从 URL 解析页面，但我需要使用 sock5 代理，我不知道如何在 enlive 中使用代理，但我知道如何在 httpclient 中使用代理，但是如何解析结果来自httpclient，我有以下代码，但最后一行显示空结果

    (:require [clojure.set :as set]
                [clj-http.client :as client]
                [clj-http.conn-mgr :as conn-mgr]
                [clj-time.core :as time]
                [jsoup.soup :as soup]
                [clj-time.coerce :as tc]
                [net.cgrand.enlive-html :as html]
                )     
     (def a (client/get "https://news.ycombinator.com/"
                             {:connection-manager (conn-mgr/make-socks-proxied-conn-manager "127.0.0.1" 9150)
                              :socket-timeout 10000 :conn-timeout 10000
                              :client-params {"http.useragent" "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.20 (KHTML, like Gecko) Chrome/11.0.672.2 Safari/534.20"}}))
(def b (html/html-resource a))
(html/select b [:td.title :a])
4

1 回答 1

2

使用 enlive 时，html-resourcefn 从 URL 执行获取，然后将其转换为可以解析的数据结构。似乎当你向它传递一个已经完成的请求时，它只是返回请求而不是抛出错误。

无论哪种方式，您想要的功能是html-snippet并且您希望将它传递给您的请求正文。像这样：

;; Does not matter if you are using a connection manager or not as long as
;; its returning a result with a body
(def req (client/get "https://news.ycombinator.com/"))

(def body (:body req))
(def nodes (html/html-snippet body))
(html/select nodes [:td.title :a])

;; Or you can put it all together like this

(-> req
    :body 
    html/html-snippet
    (html/select [:td.title :a])))
于 2016-01-24T16:00:18.460 回答