问题标签 [partitioned-view]

我有一个分区视图，我正在尝试使用 hive CLI 从视图定义中删除现有分区。但是，当我尝试删除分区时，它会抛出以下错误：

这是我的视图创建语句：

基础表test_table1, test_table2也按(ts_date, gen_date)分区。

删除分区命令：

我可以添加分区并在我的视图上发出 show partition 但删除分区失败。

我的 show partition 命令显示：

所以，我整天都在尝试实现 EntityFramework.PartitionedViews，但我并没有比开始时更进一步。

我的问题是我收集了大量数据（每月数百万行），因此想要对数据进行分区，以便随着表的增长而对其进行维护。我找到了一个可以执行此操作的类库，但我不确定如何实现它。

我一直在使用的指南是： http ://datumstream.ca/blog/index.php/2016/05/18/big-data-partitioned-views-using-entity-framework/

该库是https://github.com/GiscardGirard/EntityFramework.PartitionedViews

我的问题是我什至不知道从哪里开始。它说应该为每个表创建一个 DbContext，但不是如何进行的。通常在创建新数据库时，我只创建一个上下文，我知道如何做到这一点，但是一次创建多个上下文会更成问题；我在哪里编写实现这个的代码？

该指南基本上说：

• 创建分区视图配置
• 使用 DbContext 注册类型（但仅显示库中提供的方法）
• 创建分区视图

它没有提供任何示例代码，我非常困惑。如果有人对此有任何经验并且可以指出我如何创建上下文的正确方向。我如何创建表（我有三个非关系表需要在这个 azure SQL DB 中进行），我会为上下文创建一个库，然后在其中保存上下文吗？

与往常一样，我感谢任何指向正确方向的指针。我的场景包括两个表，其中一个是默认表，而第二个是按 ID 和日期进行集群和分区的。我认为这足以解决我在此处描述的问题：操作超时 - BigQuery 优化窗口功能

但是，通过引用默认表进行任何类型的修剪似乎都会导致相同的错误：

如果没有对可用于分区消除的列“时间戳”进行过滤，则无法查询表。

这似乎向我表明加入集群数据不是一种选择。不幸的是，加入聚集表的文档没有那么好，所以感谢您的帮助。

查询：

编辑：我应该注意，将 Bikes.timestamp 替换为实际的字符串日期时没有问题。

我有一个分区表'table1'，我可以在 Athena 的这个表上运行 select 子句，它也给出了结果。

但是，当我尝试使用 Lambda 函数对此表“table1”运行查询时，它给了我以下错误

下面是 Lambda 的 python 脚本