我正在尝试使用 CLI 提交多个 Hive 查询,并且我希望查询同时运行。但是,这些查询是按顺序运行的。
有人能告诉我如何调用一些 Hive 查询,以便它们实际上同时运行吗?
我正在尝试使用 CLI 提交多个 Hive 查询,并且我希望查询同时运行。但是,这些查询是按顺序运行的。
有人能告诉我如何调用一些 Hive 查询,以便它们实际上同时运行吗?
这不是因为 Hive,而是与您的 Hadoop 配置有关。默认情况下,Hadoop 使用简单的 FIFO 队列来提交和执行作业。但是,您可以配置不同的策略,以便可以一次运行多个作业。
这是 Cloudera 早在 2008 年就此事发表的一篇不错的博客文章:Hadoop 中的作业调度
除了默认的调度器之外,几乎所有的调度器都支持并发作业,所以选择吧!