selenium - 在 Selenium 中设置磁盘缓存大小，同时抓取多个网站？

Question

从可用信息中我了解到，当我们在单个网站上进行抓取或任何操作时，在 selenium 中设置磁盘缓存大小将有助于更快地加载网页。但我的问题是，如果我们在处理多个网站时设置磁盘缓存大小会有什么好处？

或者设置磁盘缓存大小实际上是不好的？当抓取多个网页时，即网站可以追踪我们正在抓取的方式？

Answer 1

磁盘高速缓存是一种高速缓存存储器，用于加速从主机硬盘存储和访问数据的过程。它可以在硬盘、内存和计算组件之间的读/写、发出命令和其他 I/O 过程中实现更快的处理。磁盘高速缓存也称为磁盘缓冲区或高速缓存缓冲区。

---

Chromium 磁盘缓存

磁盘缓存存储从 Web 获取的资源，以便在以后需要时可以快速访问它们。主要特点是：

• 缓存不应无限增长，因此必须有一种算法来决定何时删除旧条目。
• 虽然从缓存中丢失一些数据并不重要，但应该尽量减少必须丢弃整个缓存的情况。当前的设计应该能够优雅地处理应用程序崩溃，无论当时发生了什么，只丢弃当时打开的资源。但是，如果在我们更新缓存时整台计算机崩溃了，缓存中的所有内容都可能会被丢弃。
• 访问以前存储的数据应该相当有效，并且应该可以使用同步或异步操作。
• 我们应该能够避免阻止我们同时存储两个给定资源的冲突。换句话说，设计应该避免缓存垃圾。
• 应该可以从缓存中删除给定条目，并继续使用给定条目，同时使其无法被其他请求访问（就好像它从未存储过一样）。
• 缓存不应使用显式多线程同步，因为它将始终从同一个线程调用。但是，回调应该避免重入问题，因此它们必须通过线程的消息循环发出。

---

结论

总而言之，默认情况下，google-chrome将配置磁盘缓存的默认值，用户可以根据各自的用例进行配置。

---

在 Windows 10 上更改 Chrome 缓存大小

只有一种方法可用于设置和限制 Google Chrome 的缓存大小。

• 启动谷歌浏览器。

• 右键单击任务栏上的 Google Chrome 图标，然后再次右键单击标记为 Google Chrome 的条目。
• 现在单击属性。它将打开 Google Chrome 属性窗口。
• 导航到标记为快捷方式的选项卡。

• 在名为 Target 的字段中，在整个地址之后键入以下内容：

  -disk-cache-size-<size in bytes>
  

• 例如，将其配置为 -disk-cache-size-2147483648：

  "C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" -disk-cache-size-2147483648
  

这里2147483648是缓存的大小，bytes其中等于2 Gigabytes.

• 单击Apply，然后单击OK以设置限制。