问题标签 [database-scan]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
514 浏览

java - 在 mysql db 上进行扫描操作时出现 YCSB 错误

我正在尝试在 MySQL 数据库(10GB 设置)上使用 YCSB 客户端运行仅扫描工作负载。我正在使用以下命令来运行工作负载

./bin/ycsb 运行 jdbc -P 工作负载/workloademod -p db.driver=com.mysql.jd bc.Driver -p db.url=jdbc:mysql://localhost:3306/ycsbtest -p db.user=username -p maxscanlength=100 -p recordcount=5000 -p operationcount=1000 -p maxexecutiontime=1800 > try_ycsb_emod

但是我得到 java GC 内存不足异常并且工作负载被杀死如下: -

我已经尝试通过执行“export YCSB_HEAP_SIZE=8000”来增加 ycsb 客户端的 Java 堆大小以使其达到 8G,但仍然出现相同的错误。

我检查了 ycsb 客户端发送到 mysql 服务器的 mysql 查询,但没有看到对 max_scan_length 指标的引用/暗示。此外,使用 mysql 客户端而不是 ycsb 客户端运行此 mysql 查询也可以正常工作。

我不确定我能做些什么来解决这个问题。有人可以帮我吗?

谢谢,雷内

0 投票
1 回答
644 浏览

python - python dynamodb扫描吞吐量错误

我有一个包含 segment_id、beat_id、patient_id 的数据库

在 dynamoDB 版本 2 中,当我使用以下命令进行扫描时,我只能获取 1 个特定患者的值。当我输入其他段时,患者值我得到一个 ThroughputExceededException。

  1. 为什么它只对 1 名患者有效,而给其他人一个 ThroughputExceededException?
0 投票
1 回答
2490 浏览

java - Hbase 扫描正在返回已删除的行

我正在使用 SingleColumnValueFilter 来返回我想要删除的行列表:

然后我创建一个 Delete 对象并删除每一列。

检索代码是

此任务已安排,当它再次运行时,它正在检索相同的行。我知道 hbase 将行标记为删除,然后它们仅在主要压缩后才被物理删除。如果我在任务运行之间通过 hbase shell 查询该行,则该列肯定已被删除。为什么我的 Scan 在此任务的后续运行中返回相同的行?

提前致谢!

0 投票
0 回答
345 浏览

ios - AWS dynamoDB 扫描字符串集 IOS

我有一个要扫描并过滤掉的数据集。

我想在我的表中过滤掉这两个值:

  • F7138546-5819-4534-98F8-959A2B8DC06E
  • DFG83855-FF86-440D-8CA0-15A2709A58E8

在attribute.SS中输入这两个数据对吗?我还有其他方法可以实现此功能吗?请帮助我,因为我已经考虑了很长时间。条件应该是or,也就是说,哈希键不会是值 a 或值 b,而不是既不是 a 也不是 b。

谢谢你。再次感谢你

0 投票
0 回答
454 浏览

cassandra - 用于大范围扫描的数据库

我正在寻找一种很好的解决方案来存储数据(一次性插入,无更新)并根据大范围查询它。我假设 RDBMS 对我不利,因为我正在寻找一个大型且可扩展的数据库。

为此,我一直在使用 Cassandra,并且在多个分区键上使用和 IN 子句实现了每行 70µs。我正在使用宽行,每行都有几 MB 大。

这是正常的还是我做错了什么?我在网上找不到任何实际数字。

我的集群由三台 c3.8xlarge 类型的 EC2 机器组成(32 个 vCPU 和 60GiB 的 RAM)

我想知道 Cassandra 是否对我来说是最好的解决方案,如果是,我是否可以加快搜索过程。

编辑:我的客户端机器也是 c3.8xlarge EC2 机器。所以客户端和Cassandra之间的连接至少10Gib/s

EDIT-2:完全压缩集群无助于减少读取时间。

0 投票
2 回答
2135 浏览

amazon-dynamodb - Amazon DyanamoDB,在 Java 中使用带有扫描操作的过滤器表达式

我正在尝试获取价格大于某个值但无法正确使用过滤器表达式的所有商品。

它抛出以下运行时异常

线程“main”com.amazonaws.AmazonServiceException 中的异常:无效的FilterExpression:未定义表达式中使用的表达式属性值;属性值::val(服务:AmazonDynamoDBv2;状态代码:400;错误代码:ValidationException;请求 ID:FEQBP55SPJIT60JVFPVO6N6BLBVV4KQNSO5AEMVJF66Q9ASUAAJG)

0 投票
1 回答
41 浏览

mysql - Mysql优化避免表扫描

请考虑下表:

有了这个表结构,我想存储句子的单词。现在我想找出句子中哪些单词与特定单词一起出现。结果应如下所示:

查询如下所示:

查询正常工作,但它始终扫描整个表。我为 sent_id 和 word_id 创建了一个索引。你有什么想法可以优化它,它不需要一直扫描整个表吗?

0 投票
2 回答
3742 浏览

android - 获取 DynamoDB 表中所有项目的值并显示(Android)

我在使用 DynamoDB 时遇到问题。我不知道如何获取 DynamoDB 表(在本例中为 DynamoDBTable)中的所有项目并显示它。我尝试使用 Scan 但它给了我空异常的错误。

扫描表

DynamoDBTable

在此处输入图像描述

是不是我做错了什么?

0 投票
1 回答
5713 浏览

hbase - 具有多个范围的 HBase 扫描

我有一个 HBase 表,我需要从多个范围中获取结果。例如,我可能需要从第 1-6 行、第 100-150 行等不同范围获取数据……我知道对于每次扫描,我都可以定义起始行和停止行。但如果我有 6 个范围,我需要扫描 6 次。有什么方法可以让我从一次扫描或一次 RPC 中获取多个范围的结果?我的 HBase 版本是 0.98。

0 投票
1 回答
254 浏览

python - 如何通过 Hbase 中的行键和单元格扫描特定列值?

我对 Hbase 很陌生,我有一个包含几列(hebe_30、hebe_31 等)的 HBase 表,code+date行键在哪里。

我有如下数据

如何code+date+cell在 Python 中获取记录?例如000330-20180131-hebe_30,我不知道该使用哪个过滤器?Hbase中有没有CASE WHEN, WHERE OR HAVING类似SQL查询的方法?下面的python代码可以通过 扫描一条记录code+date,我必须让atune:hebe_30成为默认参数,但我们需要的是code+date+atune:self.hebe_**.

非常感谢您的任何建议