问题标签 [database-scan]

我们有 hbase 表，我需要扫描它。我必须找到一个特定列具有精确值并且存在具有精确前缀的另一列的所有行。就像是：

单独的过滤器工作完美。filterA返回COLUMN_1具有值的行2L。filterB返回COLUMN_2存在的行。但是他们在一起什么都没有。那么我可以将这些过滤器组合在一起吗？还是我做错了什么？

具有相同条件的第二个问题：我可以使用ColumnPrefixFilter并获取所有列。我的意思是找到COLUMN_2存在的行并获取所有其他列？

扫描 ElasticSearch 索引时，无法根据文档应用任何排序。但是在这个过程中，结果的顺序是否有任何定义？如果是，是否可以预测？

背景资料：

我需要定期对 5M 文档进行操作，每批 1.000 文档需要大约 1 分钟的时间来处理。由于我无法确保每次运行时都会完成该过程，因此我很乐意让它在上次中断的地方继续工作，例如，如果滚动结果是按排序的ID（我知道，它是不是），我会跟踪ID我的代码中最后处理的内容，并且在下次运行时不再使用 处理任何文档ID <= lastProcessedId，以确保每个文档都得到定期处理。

顺便说一句：“处理文档”并不是指将其他信息写回索引，而是更新我数据库中的其他一些内容。在我的情况下，将时间戳写入索引文档无济于事，因为该过程被中断的原因之一可能是索引被替换为新索引（从头开始重建）。将处理后的时间戳写入数据库对我来说也不是一个理想的选择，因为迭代性能是我首先使用索引滚动的原因......

我认为简单的问题。我想对表进行索引扫描，但没有这样做。所以我有一个在 ID 列上有一个唯一聚集索引的表，还有另外 2 个列，first_name 和 last_name。以下是我的查询...

我想既然我没有在带有索引的列上搜索它应该这样做。

为什么它不工作，我如何确保每次我想要它都能让它工作？

HBase 表键设计为Prefix (4bytes) |Timestamp long value (8bytes) |severial bytes (lenght is different)。

现在我想使用开始键和结束键扫描表。扫描的前缀是固定的，开始键和结束键是由于时间戳。像Data1|2013-05-01 10:10|*之间的扫描键和 数据1|2013-06-01 10:10| *

如何为此构建开始键和结束键？让我感到困惑的是，关键长度没有固定。并且开始结束键不像固定长度键那么明显。

我正在设计一个在 hbase 上运行的应用程序，并希望以交互方式探索我的集群的内容。我在 hbase shell 中，我想对所有以字符“abc”开头的键执行扫描。这些键可能包括“abc4”、“abc92”、“abc20014”等……我试过扫描

但这似乎没有返回任何内容，因为从技术上讲没有行键“abc”，只有以“abc”开头的行键

我想要的是类似的东西

我听说 HBase 可以快速做到这一点，这是它的主要卖点之一。如何在 hbase shell 中执行此操作？

好的，我将从问题开始：我每周都会创建产品表，其名称格式为：

我正在尝试自动化一些活动分析，这样我就不必每周手动更改代码中的表名称来使用在我的活动最大结束日期之后的第一个产品表。

例如

我六月的产品表是：

在这种情况下，我想使用列表中的第二个表，忽略超过 12 个月的产品表，只选择日期在我的 max_enddate 宏之后的表。

我整天都在谷歌搜索，我很困惑，所以任何建议都会非常感激。

谢谢！

我如何找到具有多个匹配模式的键，例如我有键

我如何找到具有 redis 键功能的键以匹配 foo:* 或 poi:* 模式，就像

我们使用 HBase 存储从 oracle 到 hdfs 的数据。这里我们将行键设计为字节数组值。行键是用复合键框起来的，比如(Md5(schema name).getBytes() + Md5(date (format = yyyy-mm-dd)).getBytes() + ByteBuffer.allocate(8).putLong(pkid).array()). 这里 PKID 是一个长值。

如果我想获取特定模式和特定日期的所有行，我可以使用 startrow 和 endrow 查询 hbase 表，或者像这样查询的任何其他方式？

当我将行键存储为字符串user1_20130123时...，user1_20130127 我可以使用

在这里，我得到了那些日期中 user1 的行。当我像上面一样存储行键时，我该如何查询？

我最近继承了一组非常大的 SQL Server 数据库。应用程序和数据库架构是一团糟。我在数据库中遇到了一些存储不同类型敏感数据的字段，它们不应该存储在其中。由于我的数据库中有近 10,000 个表，因此我迫切需要一种以编程方式扫描其中一些数据库以找出数据位置的方法。我意识到这将非常耗费资源，因此我专门设置了一个服务器来对数据库的备份进行扫描。

我也有零美元购买任何工具。

有谁知道使用 C# 和 SQL 的方法可以扫描数据库中的所有用户表以查找敏感数据？

扫描一种类型的数据（例如 SSN）的示例将非常有帮助。我相信我可以将其推断到我需要的所有场景中。

行键采用以下格式：

用户 ID-资源 ID

我知道 Hbase 中的行是排序的，这就是为什么我有上面显示的行键格式。属于同一用户的资源将堆叠在一起。假设 UserID 是随机的，但 ResourceID 是一个简单的计数器，每次添加新资源时都会递增。

现在要获取资源，我不想扫描整个表，这就是我想提供起始行和结束行的原因。我可以提供起始行，因为我知道 UserID 并且我知道 ResourceID 从 0 开始，但我不知道有多少资源，（或者我不想存储该信息）。我可以提供一个条件，如果该条件无效，应该停止扫描吗？类似于如果用户 ID 更改然后停止扫描。

本质上，我希望它找到属于该人的第一个资源，然后沿着列表向下走，因为所有资源都堆叠在一起，并在找到所有资源后完成。

后续问题：是否可以提供一个条件，使其仅返回资源的子集，例如列表中属于该人的最后 10 个资源。