问题标签 [fastutil]

我需要一个长度为 10 的固定大小的数组，由用作记录的双精度值组成，因此它应该具有有效的结构。

我想知道 fastutil 中是否有任何固定长度的集合，或者我可以使用 double[10] 数组而不是 fastutil？

我正在运行一个 spark 应用程序，它从几个配置单元表（IP 地址）中读取数据，并将数据集中的每个元素（IP 地址）与其他数据集中的所有其他元素（IP 地址）进行比较。最终结果将是这样的：

为了进行比较，我将语句的dataframes结果转换为对象。像这样：hiveContext.sql("query")Fastutil

然后，我使用iterator迭代每个集合并使用FileWriter.

我正在运行应用程序--num-executors 20 --executor-memory 16g --executor-cores 5 --driver-memory 20g

该过程总共运行大约 18-19 小时，每天大约有 4-5 百万条记录进行一对一比较。

但是，当我检查 Application Master UI 时，我注意到在完成初始转换后没有任何活动发生dataframes（fastutil collection objects这只需在作业启动后几分钟）。我看到代码中使用的countandcollect语句产生了新的工作，直到转换完成。之后，运行比较时不会启动新作业。

• 这意味着什么？这是否意味着分布式处理根本没有发生？

• 我知道集合对象不被视为 RDD，
  这可能是原因吗？

• spark如何在不使用分配的资源的情况下执行我的程序？

任何帮助将不胜感激，谢谢！

我对 Java 很陌生。我最近遇到了fastutil并找到了 ObjectArrayList 类。

如果使用 ObjectArrayList 而不是 ArrayList，性能会有什么不同吗？使用 ObjectArrayList 的用例有哪些？

如何将 java.util.Map 转换为 fastutil.BigList？

BigList<Employee> empList= empMap.values().stream().collect(Collectors.toList());

FastUtil 包含避免自动装箱开销的优化集合实现。为了通知程序员意外的自动装箱，例如在使用时IntList，他们将该方法标记Integer get(int)为已弃用，建议int getInt(int)改用。当对此类列表使用数组索引语法时，这会导致弃用警告：

我尝试重新定义get为操作员函数，但这似乎不起作用，因为“扩展被成员隐藏”。

有没有其他方法可以使用数组索引语法而没有弃用警告并且不抑制所有其他弃用？

在 scala 中组合两个 Object2IntOpenHashMap[String] 的最快方法是什么？希望结合这两张地图：

并产生 {"foo" : 2, "bar" : 1} 的输出。

我正在构建一个 Spark UDAF，我将中间数据存储在一个 fastutils 映射中。架构如下所示：

我初始化没有问题：

当我尝试更新时出现问题：

收到以下错误：

有什么办法可以使这项工作？

如果我有 arraylist 我可以使用 Collection.sort() 这是非常有效和快速的。但是现在我必须使用 BigList 来保存我的对象类型的许多元素，并且我必须按值对它们进行排序，从名为 JasPlayer 的对象杀死为 int，昵称为 String。

我尝试使用 Collection.sort() 最好的方法来做到这一点，但我不能像普通列表那样使用它。

我正在尝试在我的电脑上安装 fastutil-8.2.2 库，但是我下载的 .jar 远没有执行。下载的文件是可执行 jar 类型的。我也安装了 Java SE 运行时环境。我该如何安装？如果无法安装，那么在提取文件后如何使用这些库？

我试过直接打开它，以及使用

这给了我输出

我可以在提取时看到的 META-INF\MANIFEST 文件也不包含任何以 main-package 开头的单行。

在 Android Studio 中按下选项“使用 Gradle 文件同步项目”后，这些下载的文件（例如 fastutil-7.2.0.jar）放在 Windows 10 中的什么位置？