我有一个用例，我使用 schemacrawler 从各种数据库中抓取元数据。稍后在我的下游系统中使用元数据。
我有很多可变大小的数据库要抓取。桌子的数量从 20 到 2000 不等。现在，我正在使用 Schemacrawler API 来运行爬虫。如果源数据库中的表数量更多，我的应用程序会崩溃，因为它会尝试一次爬取所有表。
schemacrawler 有什么方法可以批量抓取数据库。即如果有 1000 个表，它分 5 批抓取，每批 200 个表？
谢谢！
问问题
41 次
1 回答
0
喜芒树，
SchemaCrawler 的设计前提是您应该将搜索范围缩小到少数表，而不是试图获取整个模式。SchemaCrawler 提供了强大的方法来使用正则表达式过滤搜索结果。话虽如此，我了解您的用例。我建议您使用“最小”架构信息级别来获取所有表的列表，然后编写代码以使用该列表一次获取几个表的详细信息。
Sualeh Fatehi，SchemaCrawler
于 2020-11-02T23:57:21.880 回答