3

我正在使用 JavaFX webview 开发一个网络爬虫。出于抓取目的，我不需要加载图像。当页面被加载时，Webkit 会产生很多 UrlLoader 线程。所以我认为最好禁用图像，这样我会节省很多系统资源。有谁知道如何禁用 Webview 中的自动图像加载？

4

2 回答 2

4

解决方法

为 http 定义您自己的协议处理程序并过滤掉具有图像 mime 类型或内容的任何内容。

URL.setURLStreamHandlerFactory(new HandlerFactory());

示例代码

import javafx.application.Application;
import javafx.scene.Scene;
import javafx.scene.layout.StackPane;
import javafx.scene.web.*;
import javafx.stage.Stage;

import java.io.IOException;
import java.net.*;

public class LynxView extends Application {
    private static final String BLANK_IMAGE_LOC =
            "https://upload.wikimedia.org/wikipedia/commons/c/ce/Transparent.gif";
    public static final String WEBSITE_LOC =
            "http://fxexperience.com";
    public static final String IMAGE_MIME_TYPE_PREFIX =
            "image/";

    @Override
    public void start(Stage stage) throws Exception {
        WebView webView = new WebView();
        WebEngine engine = webView.getEngine();
        engine.load(WEBSITE_LOC);

        stage.setScene(new Scene(new StackPane(webView)));
        stage.show();
    }

    public static void main(String[] args) throws IOException {
        URL.setURLStreamHandlerFactory(new URLStreamHandlerFactory() {
            @Override
            public URLStreamHandler createURLStreamHandler(String protocol) {
                if ("http".equals(protocol)) {
                    return new sun.net.www.protocol.http.Handler() {
                        @Override
                        protected URLConnection openConnection(URL url, Proxy proxy) throws IOException {
                            String[] fileParts = url.getFile().split("\\?");
                            String contentType = URLConnection.guessContentTypeFromName(fileParts[0]);
                            // this small hack is required because, weirdly, svg is not picked up by guessContentTypeFromName
                            // because, for Java 8, svg is not in $JAVA_HOME/lib/content-types.properties
                            if (fileParts[0].endsWith(".svg")) {
                                 contentType = "image/svg";
                            }
                            System.out.println(url.getFile() + " : " + contentType);
                            if ((contentType != null && contentType.startsWith(IMAGE_MIME_TYPE_PREFIX))) {
                                return new URL(BLANK_IMAGE_LOC).openConnection();
                            } else {
                                return super.openConnection(url, proxy);
                            }
                        }
                    };
                }

                return null;
            }
        });

        Application.launch();
    }
}

样本笔记

该示例使用以下概念：

该示例仅探测文件名以确定内容类型，而不是附加到 url 的输入流。虽然探测输入流将是确定 url 连接到的资源是否实际上是图像的更准确的方法，但探测流的效率略低，因此提出的解决方案以准确性换取效率。

提供的解决方案仅演示了由 http 协议提供的位置，而不是由 https 协议提供的位置。

提供的解决方案使用了 sun.net.www.protocol.http.Handler 类，该类在 Java 9 中可能不公开（因此该解决方案可能不适用于 Java 9）。

urlStreamHandlerFactory 是 JVM 的全局设置，因此一旦设置，它将保持这种状态（例如，任何 java.net.URL 连接的所有图像都将被忽略）。

示例解决方案返回一个空白（透明）图像，它通过网络加载。为了提高效率，图像可以作为资源从类路径而不是通过网络加载。

您可以返回一个空连接而不是一个到空白图像的连接，如果这样做，Web 视图代码将开始向控制台报告空指针异常，因为它没有获得它期望的 url 连接，并将替换所有图像用 x 图像显示图像丢失（我不会真正推荐返回空连接的方法）。

于 2012-09-21T06:28:16.147 回答
4 
 public URLStreamHandler createURLStreamHandler(String protocol) {
     if ("http".equals(protocol)) { 
         return new URLFortuneHandler(); 
     }
     else return null;
 }
}

public class URLFortuneHandler extends sun.net.www.protocol.http.Handler {
    protected URLConnection openConnection(URL url) throws IOException {
        String file = url.getFile();
        int mid= file.lastIndexOf(".");
        String ext = file.substring(mid+1,file.length());        
        if ("jpg".equals(ext) || "png".equals(ext)) 
            return somethinghere;
        else 
            return super.openConnection(url);
    }    
}
于 2012-09-21T06:38:15.260 回答