问题标签 [downloading-website-files]

我试图对一个网站（“ www.asklaila.com ”）进行逆向工程，以了解他们的 yahoo UI AutoComplete Widget 是如何工作的。在找到它的视图源后，我看到它引用了一个名为“/autocomplete.do”的文件，我想知道这个 autocomplete.do 文件是什么意思，我可以在我的机器上本地下载并打开它吗？

希望我的要求是合法和合乎道德的。

如何下载网站以在没有特定文件夹的情况下离线查看，例如我想下载没有http://site.com/forum/子目录的网站

我在我的本地服务器上编写了一个 PHP 脚本来循环遍历一系列电影标题，并使用http://www.imdbapi.com/下拉关联的元数据。

我在开始 file_put_contents 的行上点击了 php max_execution_time。我注意到确实下载了一些图像，并且我还得到了一个不完整的图像，所以我猜我在下载图像时达到了时间限制。

我可以做些什么来改进我的脚本以防止这种情况发生？如果有一些基本的东西可以优化脚本，我真的不喜欢增加时间限制的解决方法。

几天来，我一直在撞墙，所以我想我会问 SO 社区。我想要一个 python 脚本，除其他外，它可以点击网站表单上的“接受”按钮以下载文件。不过，为此，我需要访问该表单。

这是我要下载的文件类型的示例。我知道其中有一个未命名的表单，其中包含接受条款和下载文件的操作。我也知道可以在其中找到表单的 div 是 main-content div。

但是，每当我用 BeautifulSoup 解析网页时，我都无法获取 main-content div。我设法获得的最接近的是它之前的 main_content 链接，它没有通过 BeautifulSoup 的对象为我提供任何信息。

这是我脚本中的一些代码：

Url 是我正在查看的 url 的名称（所以是我之前发布的 url）。extr 是我希望以 .extension 形式下载的文件类型，但这与我的问题并不真正相关。相关的代码是第二个 for 循环，我试图在其中循环遍历 div。第一段代码（第一个 for 循环）是在另一种情况下用于获取下载链接的代码（当给定脚本的 url 是由文件扩展名标记的“下载链接”时，例如带有内容类型的 .zip text/html)，所以请随意忽略它。我添加它只是为了上下文。

我希望我提供了足够的细节，尽管我确信我没有。如果您需要有关我正在做什么的更多信息，请告诉我，我很乐意提供帮助。谢谢，堆栈。

使用下面的代码，但它根本没有将任何文件下载到名为 myImages 的指定子文件夹到应用程序......我该如何解决这个问题？该链接在这里纯粹是一个示例，通常该链接将是一个变量，并且填充自身没有问题。这一切都在 BackgroundWorker 中完成，否则 100% 可以正常工作。

谢谢。

I am trying to download a portion of a PDF file (just for testing "Range" header). I requested the server for the bytes (0-24) in Range but still, instead of getting first 25 bytes (a portion) out of the content, I am getting the full length content. Moreover, instead of getting response code as 206 (partial content), I'm getting response code as 200.

Here's my code:

Here's the output:
Respnse Code: 200
Content-Length: 94973848
Downloaded Size: 94973848

Thanks in Advance.

I have "Files Downloading Center" for large files (100MB - 2GB).

I'm using PHP.

My problem is when forcing files to download by using php headers the server memory consumed very much, although I make chunks from file when download process, that is mean when 5 users download large file at the same time the server will stop to work.

How to make users to download large files form my server without any problem.

For example, if i use header("location : path/to/files/2GB.zip");, the problem finish. but this is what i don't need because i don't need to give users direct link to the files for security.

What is solution ?

我假设您已经看过电影“社交网络”来回答这个问题。

我想知道是否有可能像扎克伯格那样在他在 Facemash.com 上工作时从网站下载图像；如果可能的话，你会怎么做这样的事情？

如果您有知识，请随意对它进行技术处理；这是我一直很感兴趣的事情，我很想知道。

谢谢！

（非常多；从网站目录下载图像和文件，但不知道所述文件的确切名称）

我一直在使用这个 wget 命令下载一个网站：

我想使用 --wait 和 --limit-rate 选项来避免网站超载。我的下载进展顺利，但 24 小时后它被中断了。我想我可以通过使用 --no-clobber 选项来恢复，但是虽然 wget 没有覆盖它已经下载的文件，但在检查每个文件后它仍然等待 10 秒。

有没有办法让 wget 仅在它实际上必须下载文件时才等待，从而使检查过程更快，直到我赶上我所在的位置？最好的方法是什么？

谢谢。

我有一个应用程序，它将您登录到一个网站，然后从该网站下载一些文件。

虽然，我已经能够下载所有类型的文件并正确保存它们，除非其链接重定向到另一个页面。

例如，如果在网页的源代码中，链接地址写为：-

“ http://someurl.com/view.php ”，然后此链接重定向并立即开始下载（当我们单击网络浏览器中的链接时）。

我已经能够使用编程方式下载此文件HttpWebRequest
，然后设置AllowAutoRedirect = true.

保存时出现问题，我需要下载文件的扩展名（无论是word文档，pdf文件还是其他文件）

我应该如何检查？

我正在使用的一些代码是：-