0

感谢您对这篇文章感兴趣,基本上我正在寻找一些关于在 PHP 中处理来自不同数据库实现的数据的建议,或者如果 PHP 不适合这些任务,关于其他方法的任何建议。

我想完成的任务可以用下面的例子来说明。我有一个 MySQL 数据库,我在其中存储有关在“服务器 A”上按 user_id 组织的用户的人口统计信息,这运行到大约 200,000 行。在服务器 B 上,我将 user_id 和 event_id 存储在 Vertica 数据库中的用户使用情况数据运行到大约 300,000,000 行。

我想找到一种方法来加入这些数据集,这样我就可以通过“user_id”字段上的连接生成汇总输出,该输出包括从 Vertica 数据库中获取的聚合用户事件,这些用户事件按 MySQL 数据库中包含的数据(例如年龄和位置)进行分组.

我意识到这可以通过在另一台服务器上创建这些表中的任何一个的副本来实现,但我很好奇如果没有它可以实现这一点。

我的问题是:

  • PHP可以做这样的操作吗?如果是这样,一个示例的链接将非常受欢迎。
  • 您是否需要将数据加载到数组中并加入其中?你能像数据库中的表一样加入 PHP 中的数组吗?PHP 可以处理这样的大型数组吗?
  • 还有其他我应该考虑的方法吗?

提前感谢您的帮助,

詹姆士

4

1 回答 1

0

我建议使用 TALEND !是一个开源 ETL 工具,其中实现了 Mysql 和 Vertica 连接器。只要 TALEND 可以访问它们,您就可以从任何 rdbms 聚合数据集!然后将它们转储到您需要的地方。试试看 。

于 2014-01-23T18:19:39.677 回答