问题标签 [nnapi]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
360 浏览

android - ANeuralNetworksMemory_createFromFd 是如何工作的?

在 Android 神经网络 API 文档中说:从文件描述符创建一个共享内存对象。

但是我在 TFL 源代码上找不到任何指定此文件格式的地方:

分配.cc:

nnapi_delegate.cc

这意味着,TFL 打开文件,并将此文件提供给 NNAPI。我需要的是这个存储张量的文件的格式是什么,它是像 TFL 格式的 flatbuffers 文件吗?

编辑:这是来自 NNAPI 文档的示例:

这个文件training_data,它的内容必须如何结构化才能让 NNAPI 理解?

0 投票
1 回答
503 浏览

android - tensorflow-lite and nnapi hw acceleration for embedded linux

TensorFlow-lite is for embedded linux system and Android NNAPI is for hw acceleration for Android system. I do like to find out solutions for embedded linux not android with Tensorflow-Lite hw acceleration.

0 投票
0 回答
147 浏览

neural-network - Android NN 到 TF-Lite 的转换

我正在尝试使用来自 TF-Lite 的 Android NN API 运行我的自定义神经网络模型。Android NN 和 TF-Lite 之间的输出不匹配。要交叉检查我的 Android NN 模型,我想将 Android NN 模型转换为 TF-Lite。有什么办法吗?

0 投票
1 回答
1468 浏览

tensorflow - 如何在 android 7 和 8 上使用 tensorflow-lite nnapi

NNAPI 在 android 8.1 上可用。但我想在 android 7&8(arm64) 上使用 NNAPI。NNAPI 由 tensorflow-lite 使用。

我在哪里可以下载 libneuralnetworks.so?

0 投票
1 回答
43 浏览

android - Android NN API CpuExecutor:模型输出的类型或尺寸无效

我正在尝试在 Android NN API 中实现一个简单的两层网络,但在编译过程中出现错误:

E/CpuExecutor:模型输出 SOFTMAX 的类型或尺寸无效。

E/CpuExecutor:模型输出 SOFTMAX 的类型或尺寸无效。

也许谁知道这个错误与什么有关?P/S/如果有人在回购中有一个在 NN API 中实现的工作示例?将不胜感激

0 投票
1 回答
118 浏览

android - 无法找出针对 SOFTMAX 输入/输出的 Android NNAPI 的 CTS 测试

无法找出针对 SOFTMAX 输入/输出的 Android NNAPI 的 CTS 测试

一直在使用 Android P 进行我们的内部产品升级,并查看了以下我无法弄清楚的代码,低于 softmax 的输入和输出如何匹配这里的数学公式?...任何人都可以帮助我理解或任何有关它的文档的链接?

http://androidxref.com/9.0.0_r3/xref/frameworks/ml/nn/runtime/test/generated/examples/softmax_float_1.example.cpp

0 投票
1 回答
973 浏览

android - 将机器学习套件与 NNAPI 结合使用

我正在尝试在运行 Android 9 的 Android 设备上使用新的 Google 机器学习 sdk ML Kit。来自官方网站:

ML Kit 将 Google 的 ML 技术(例如 Google Cloud Vision API、TensorFlow Lite 和 Android 神经网络 API)整合到一个 SDK 中,从而可以轻松地将 ML 技术应用到您的应用程序中。无论您需要基于云的处理能力、移动优化的设备上模型的实时功能,还是自定义 TensorFlow Lite 模型的灵活性,ML Kit 只需几行代码即可实现。

我认为这意味着在至少具有 Android 8.1 的设备上(根据 nnapi 的文档),SDK 可以使用 NNAPI。但是,当我在装有 Android 7.1(不支持 nnapi)的设备上运行相同的应用程序时,我获得了与使用 Android 9(理论上是 NNAPI)的设备相同的性能。我如何将 ML Kit 与 NNAPI 一起使用?我做错了什么?链接到 mlkit 的文档:https ://firebase.google.com/docs/ml-kit/

0 投票
2 回答
213 浏览

android - 将 BATCH_TO_SPACE_ND 和 SPACE_TO_BATCH_ND 添加到 tensorflow lite

NNAPI 1.1 已经支持 SPACE_TO_BATCH_ND 和 BATCH_TO_SPACE_ND 操作,但当前的 TFLite 代码尚未实现。见:https ://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/nnapi_delegate.cc#L607

我试图像这样添加它们:

但它不起作用,当我在 android 设备上运行它时出现错误消息:E/Utils: Invalid number of input operands (3, expected 2) or output operands (1, expected 1) for operation BATCH_TO_SPACE_ND

如何正确地将这些操作添加到 tensorflow lite?谢谢!

0 投票
0 回答
322 浏览

c++ - NHWC 与 NCHW 的好处

我相信我了解 NHWC 和 HCHW 之间的区别。

NHWC(batch、height、width、channels)的输出索引顺序为,假设 3 个输入通道代表 RGB、R0、G0、B0、R1、G1、B1、...、Rc、Gc、Bc。

NCHW (batch, channels, height, width) 的输出索引顺序为,假设 3 个输入通道代表 RGB,R0,R1,...,Rc,G0,G1,...,Gc,B0,B1,... , 公元前。

(这是唯一的区别吗?)

我想知道的是,为什么 NCHW 在 GPU 性能方面更好/更快。

0 投票
1 回答
1159 浏览

tensorflow - 全连接层尺寸

关于卷积神经网络的全连接层,我有一些不确定性。假设输入是卷积层的输出。我知道前一层是扁平的。但它可以有多个渠道吗?(例如,全连接层的输入可以是 16x16x3(3 个通道,扁平化为 768 个元素的向量吗?)

接下来,我理解输出的等式是,

每个输入有 1 个重量吗?(例如,在上面的例子中,会有 768 个权重吗?)

接下来,有多少偏差?每个频道 1 个(所以 3 个)?1不管怎样?还有什么?

最后,过滤器如何在全连接层中工作?可以多于1个吗?