问题标签 [hpcc]

我想从 HPCC、STREAM 和 GUPS 运行一些测试。

他们将测试内存带宽、延迟和吞吐量（在随机访问方面）。

我可以在启用内存交错的 NUMA 节点上启动单 CPU 测试 STREAM 或单 CPU GUPS 吗？（HPCC - 高性能计算挑战赛的规则是否允许？）

使用非本地内存可以增加 GUPS 的结果，因为它将增加 2 或 4 倍的内存库数量，可用于随机访问。（GUPS 通常受到非理想内存子系统和缓慢的内存库打开/关闭的限制。随着更多的银行，它可以对一个银行进行更新，而其他银行正在打开/关闭。）

谢谢。

更新：

（您也不能重新排序程序进行的内存访问）。

但是编译器可以重新排序循环嵌套吗？例如 hpcc/RandomAccess.c

这里的主循环是for (i=0; i<NUPDATE/128; i++) {，嵌套循环是for (j=0; j<128; j++) {。使用“循环交换”优化，编译器可以将此代码转换为

可以这样做，因为这个循环嵌套是完美的循环嵌套。HPCC的规则是否禁止这种优化？

最近我将一组数据从一台服务器传输到 hpcc（高性能计算）命令是这样的：

我打开几个终端同时传输数据。我总共有大约 50 个这样的 fastq.gz 文件，每个文件大约 10GB。我只是想知道数据（尤其是如此大的数据）在以上述方式传输时是否有可能被扭曲？

因为服务器上的数据完好；而复制到 hpcc 后的一些数据被扭曲了。

谢谢你

我最近遇到了一些非常奇怪的数据损坏问题。基本上我所做的是：

1. 使用“scp”将一些大数据（50个文件，每个大约8GB）从一台服务器传输到hpcc（高性能计算）
2. 处理输入文件的每一行，然后将这些修改的行追加/写入输出文件。我通过“qsub -t 1-1000 xxx.sh”在 hpcc 上执行此操作，即同时抛出所有 1000 个工作。此外，这 1000 个作业平均每个作业使用 4GB 内存。

我的脚本的基本格式是：

或者

然而，奇怪的是：有时，我可以在我的数据的某些部分看到数据损坏。

1. 首先，我只是发现我的一些“输入”数据已损坏（不是全部）；那么我只是怀疑这是否是“scp”的问题。我问了一些电脑专家，也在这里发帖，但似乎“scp”扭曲数据的可能性很小。而我只是执行“scp”将我的数据再次传输到 hpcc；并且这次的输入数据就ok了。很奇怪，对吧？所以这促使我思考：输入数据是否有可能被用于运行内存/CPU 使用密集型程序而中断？

2. 如果输入数据被破坏，输出也被破坏是很自然的。好的，然后我再次将输入数据传输到 hpcc，并检查它们是否都处于良好状态，然后运行程序（应该指出：一起运行 1000 个作业），输出文件......其中大部分是好的; 但是非常令人惊讶的是，只有一个文件的某些部分已损坏！所以我只是再次为这个特定文件单独运行程序，然后获得良好的输出而没有任何损坏！好迷茫……看了这么多怪事，我唯一的结论是：可能同时运行多个内存密集型作业会损坏数据？（但我以前也做过很多这样的工作，而且看起来还可以）

通过数据损坏，我的意思是：

像这样的东西：

然而它应该是这样的：

有谁知道 HPCC/HDFS 连接器。我们同时使用 HPCC 和 HADOOP。HPCC 开发了一个实用程序（HPCC/HDFS 连接器），它允许 HPCC 集群访问 HDFS 数据

我已经安装了连接器，但是当我运行程序以从 hdfs 访问数据时，由于 libhdfs.so.0 不存在而出现错误。

我尝试使用命令构建 libhdfs.so

它给了我错误

项目“hadoop”中不存在目标“compile-libhdfs”

我又用了一个命令

它给出的错误为

常春藤下载：

到/home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar

构建失败 java.net.ConnectException：连接超时

任何建议都会有很大帮助

有人可以解释一下这个 SAS 代码中 &, && , % 的含义吗？我想将此代码转换为 ECL(HPCC)。谢谢

文档表明 OR 逻辑运算符应该短路：

如果发生概率已知，您应该将它们从最可能发生到最不可能发生排序，因为一旦复合 OR 条件的任何部分计算为 TRUE，表达式的其余部分就会被绕过

除非我弄错了，否则这不会像预期的那样表现。当它必须评估返回 TRUE 的表达式时，它似乎会继续评估 OR 之后的下一个表达式。似乎对于 TRUE 的硬编码值，它按预期工作。

我做错了什么或误解了代码/文档吗？

考虑下面的代码：

我们正在尝试编写一个带有中断函数的循环宏。基本上，我们希望重复某个动作，直到 X（源自数据集）为真。然而，编译器似乎不喜欢这种方法（返回“预期的常量表达式”）所以我们想知道是否有已知的解决方法？

下面提供了一个完全人为的示例，调用方式为：

从 BWR 窗口。

我想检查某个值（即：42 或 41.0005）是否是 ECL（HPCC）中的数字。我想到了一个使用正则表达式的函数，如下所示：

有内置的 IsNumeric 函数吗？

如果没有...有没有比使用 regex 更好的方法？（兼顾可读性和性能）

• 也许是 ECL 命令？
• 性病功能？
• 铸件？
• #获取数据类型？
• str.filter?

注意：似乎在旧版本的 HPCC (2011) 中不存在此类功能。但是从那时起已经发布了许多版本。

我需要在一秒钟内将 PB 的文本数据加载到存储 (RAM/SSD) 中。

以下是解决上述问题的一些问题。

1）实际上/理论上是否可以在一秒钟内加载 PB 的数据？2) 为了在亚秒内实现 PB 级数据的快速加载，最好的设计方法是什么。3）任何可用的基准方法？

我可以使用 Hadoop、spark、HPCC 等任何类型的技术来实现...

我的数据包括vehicle_ID、x 和y 坐标（用于位置）、车辆的速度、它们行驶的时间。我们想知道哪些汽车走的是相同的道路？

这是我的数据样本，其中有 1 辆 ID 为 1 的车辆，我有 700000 个车辆 ID 需要分析

所以基本上我需要了解我们如何找出不同的道路以及我们如何将一条道路与另一条道路分开？