我正在为 Erlang 使用 ibrowse API。问题是,当我尝试阅读重定向到另一个网页的网页时,它会变成空白。关于如何跟踪到最后一页的任何想法?
这是我目前所拥有的:
get_web(Src) ->
ibrowse:start(),
{_,_,_,Body} = ibrowse:send_req(Src, [], get),
Body.
谢谢
我正在为 Erlang 使用 ibrowse API。问题是,当我尝试阅读重定向到另一个网页的网页时,它会变成空白。关于如何跟踪到最后一页的任何想法?
这是我目前所拥有的:
get_web(Src) ->
ibrowse:start(),
{_,_,_,Body} = ibrowse:send_req(Src, [], get),
Body.
谢谢
Location
如果响应中的标头具有 301 或 302 状态代码,则应遵循该标头。
get_web({url,Src}) ->
ibrowse:start(),
{ok, Status, Head, Body} = ibrowse:send_req(Src, [], get),
if
Status =:= 200 ->
Body;
Status =:= 301 orelse Status =:= 302 ->
get_web(get_location(Head))
end.
get_location(Head) ->
case lists:keyfind("Location", 1, Head) of
false -> {url, error};
URL -> {url, URL}
end.
如果有人偶然发现这一点,这就是我所做的:
get_web({_,error}) ->
error;
get_web({url,Src}) ->
ibrowse:start(),
{_,_,Head,Body} = ibrowse:send_req(Src, [], get),
if
length(Body) == 0 ->
get_web(get_location(Head));
true ->
Body
end.
get_location([]) ->
{url,error};
get_location([{"Location",URL}|_]) ->
{url,URL};
get_location([_|T]) ->
get_location(T).