问题标签 [partition]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
52 浏览

mysql - 在每 15 分钟内插入 30,000 个插入的表上添加 3 个索引是否很好?

我必须像这样制作一个有 6-7 个分区的表 -

块引用

在这张表(有 40+ 百万行)上创建这个索引是否很好,因为我们将在每 15 分钟内插入 30,000 条记录。但我也不想伤害插入操作?快速查询也需要索引。

所以请告诉我一些中间解决方案。

谢谢你。

0 投票
1 回答
912 浏览

python - python中的欧拉五边形数函数

所以我得到了这个代码,它可以回答 n 的分区数(目前最多 200 个)。但是,由于我从这里改编了用 Mathematica 编写的代码。我不太确定后面的部分。不知何故,这部分搞砸了我的限制。因此,如果我想为 25 生成分区数,我必须将我的 max 变量设置为 27。

我真的希望有人能帮我纠正这个

干杯,

亚历克斯

0 投票
4 回答
1110 浏览

python - 在python中用通配符分隔字符串

我有一个看起来像的文件

我想从行的前面分离出数字,输出为

我有这个

我应该为通配符输入什么?

0 投票
0 回答
750 浏览

filter - 需要在 D3 中过滤后重新计算分区布局吗?

我正在使用 Zoomable Icicle 布局示例来查看文件夹层次结构。

我目前使用过滤器功能如下:

这会根据文件夹的 dateAccessed 是否在某个日期之后过滤出是否需要显示/不显示文件夹(及其所有子文件夹)。

然后,我使用示例代码使用此数据变量来绘制分区。

我需要布局来重新计算文件夹的放置位置,因为目前它为过滤掉的文件夹保留空间(参见附图)。(请原谅图片中文件夹的组织混乱,读入时是这样的。)

图片

非常感谢。

0 投票
4 回答
10042 浏览

hive - 如何将所有数据从子目录中提取到配置单元中

我将数据以特定格式(如下所示)组织在目录中,并希望将这些数据添加到配置单元表中。我想添加 2012 目录的所有数据。以下所有名称都是目录名称,最里面的目录(第 3 级)具有实际的数据文件。有什么方法可以直接提取数据而无需更改此目录结构。任何指针表示赞赏。

到目前为止尝试的查询没有运气:

解决方案: 这个小参数解决了我的问题。添加到可能对其他人有益的问题:

0 投票
0 回答
446 浏览

sql - SQL Server 分区视图键

我有一个包含 20 个表的分区视图。每个表都有一个从 1 到 20 的分区键 (usp_id)。如果我使用分区键查询分区视图,则只查询具有正确 usp_id 的表,这很好。

现在我有第二个表,它有两个字段。Usp_id 和 insert_date。此表中的 insert_date 每天更新。在此表中它是一对一的映射。

我希望能够根据 insert_date 查询我的分区视图,然后使用 usp_id 来查询分区视图。

这可能吗?

提前谢谢了!

0 投票
1 回答
1935 浏览

hadoop - 快速对分区 hive 表进行增量更新

我有两个蜂巢表 T1 和 T2。T1 是按列 date1,hour1 分区的外部表。它还有另一个名为 date2 的日期列(不同于 date1)。

T2 是一个按 date2 分区的 Hive 表。

我将每小时递增地获取数据,并且可以轻松地将其添加到具有动态分区的表 T1 中。

我想要一种有效的方法来从 T1 中选择数据并将数据增量加载到 T2 中,按 date2 分区。

这就是我现在正在做的

我正在做一个左外连接和“T1.idColumn 为空”来模拟“不在哪里”。我这样做是为了避免重复数据,查询可以运行多次,我希望它是幂等的。

问题

  1. 此查询将使用 T2 中的哪些分区?如何最小化使用的分区数量?

  2. 进行这种幂等增量数据加载的最有效方法是什么?

0 投票
1 回答
74 浏览

postgresql - 从 postgresql 中每个具有数百万行的许多表中读取的策略应该是什么?

我在使用 postgresql 时遇到以下情况 - 表数 - 100 ,每个表的行数 - ~ 1000 万。所有的表都有相同的模式例如每个表都包含一个公司的日常通话记录。所以 100 个表包含 100 天的通话记录。

我想对这些表进行以下类型的查询 - 对于每个表的每一列,获取该列中具有空值的记录数。

那么考虑到上述情况,表结构的主要优化是什么?我应该如何准备我的查询,是否存在任何有效的查询此类情况的方法

0 投票
2 回答
5521 浏览

sql-server - ALTER Partition SWITCH 加载数据的问题

我有按获取日期划分的表

表结构(表名:库存)

库存表的分区函数:

我收到的每日提要平面文件的获取日期最多可提前 3 个月。我需要处理这些文件并将数据加载到实际的分区表(库存表)。

使用批量插入/SSIS,我可以简单地将这些文件加载​​到临时表中,但是如何使用 ALTER SWITCH 将每日收到的数据切换到实际分区表中?我知道接收分区必须是空的,当我将数据加载到临时表中时,我可能有三个月的数据。所以,我不能简单地执行 ALTER SWITCH IN。

任何想法我该如何实现。我的要求是快速加载每日收到的数据,我的每日提要可以有三个月的数据?

我的表使用采集日期按月分区,我收到的数据馈送可以包含 3 到 4 个月的数据。如何使用 ALTER SWITCH 将此数据加载到实际的分区表中?

0 投票
0 回答
539 浏览

windows - 如何通过编程删除win7的“系统保留分区”?

我手动删除了分区。

  1. diskpart---> 将活动分区设置为 c:;
  2. bcdboot c:\windows /sc:
  3. 在启动时(从 dvdrom 或 Udisk 启动),diskpart---->删除分区覆盖

    但根据我的经验,第三步必须在启动时执行。如果系统已经启动,“删除分区覆盖”将失败,原因是“无法删除系统分区”。

    那么我的问题可能就变成了:有没有办法在用户登录win7时手动删除分区,否则VDS api可以解决问题吗?

    提前致谢, 张四光