edgar - 解析 SEC Edgar 基础数据

Question

我正计划从 SEC EDGAR 下载基本数据（现金流、收入、资产负债表等）——我正计划下载标准普尔 500 指数中的所有股票。有谁知道可以使用 FTP 下载的数据/文件的总量是否有上限。可以下载的数据是否有每日限制。

提前致谢。

Answer 1

我希望您能够获得所需的数据/文件——FTP 的时间已经不多了。SEC 已宣布将在年底永久终止 FTP 服务。

https://www.sec.gov/edgar/searchedgar/ftpusers.htm

与此同时，听起来他们只是要求你有礼貌：

为了保持公平的服务器访问，我们要求在东部时间晚上 9 点到早上 6 点之间执行批量 FTP 传输请求。请使用高效的脚本，只下载您需要的内容，并为请求分配空间以最小化服务器负载。

Answer 2

当 ftp 关闭时，我使用这样的基本 URL 来下载文件。

base_url = "https://www.sec.gov/cgi-bin/browse-edgar?action=getcompany&CIK="+str(cik)+"&type="+str(type)+"&dateb="+str(priorto)+"&owner=exclude&output=xml&count="+str(count)

您只需要在您看到 str(*) 的任何地方填写相关信息。

我没有遇到任何限制，除非如果我同时发送多个请求，SEC 管理员会阻止我。为避免这种情况，我sleep(0.5)在每个请求之间放置。

Answer 3

关于 ftp 的关闭，您可以用与以前几乎相同的方式替换ftp://ftp.sec.gov/URI 的一部分并继续下载。https://www.sec.gov/Archives/