问题标签 [firebase-mlkit]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
205 浏览

android - 是否可以设置要识别的文本的字体样式?

是否可以设置要识别的文本的字体样式?

我正在实现一个 Android 应用程序来扫描具有固定字体的文档。我遇到的问题是不正确的检测 0 位(字体使用斜线零)并且在 90% 的情况下检测为 8。

0 投票
1 回答
490 浏览

android - 将 TensorFlow python 代码与 android 应用程序一起使用

我目前在 python 中有 TensorFlow 代码,并试图找到将其添加到 android 应用程序的最佳方法。正如我所看到的,有几个选项可以做到这一点。

我一直在研究 ML 套件(https://developers.google.com/ml-kit/)。但我不确定这是否可行,因为我正在使用一些特定的 TensorFlow 函数在图中进行计算。例如这两行:

这可能与 ML 套件有关吗?

然后另一个选择是在没有 ML 套件的情况下使用 TensorFlow (lite) for Java,但是从 Java API 看来,它似乎是有限的,上面的这两个调用是否可以在 java 中进行?

最后一个选项是托管 python 代码并将其用作后端,以便 Android 应用程序可以将数据发送给它并接收结果。这将更加昂贵,因为无法在移动设备上进行计算。因此,如果可能,其他选项是首选。

你会怎么做?

0 投票
1 回答
3349 浏览

android - Is it possible to quantize a tflite model?

I have a .pb model, which I want to use as a custom MLKit model. MLKit only supports .tflite models, but even after I use toco to get the TensorFlow Lite model, the file size is too large for Firebase (95 MB and only 40 MB allowed).

Is there a way to quantize the graph and then convert to TFLite or quantize a .tflite graph?

When I do the former, I get the following error message: Unsupported TensorFlow op: Dequantize) for which the quantized form is not yet implemented. Sorry, and patches welcome (that's a relatively fun patch to write, mostly providing the actual quantized arithmetic code for this op).

0 投票
1 回答
2656 浏览

java - 在 MainActivity.java 中使用非量化 tflite 文件所需的更改

这个MainActivity.java是为量化模型编写的,我正在尝试使用非量化模型。

在进行此处提到的更改后此处MainActivity.java 我的代码是

但我仍然在Failed to get input dimensions. 0-th input should have 268203 bytes, but found 1072812 bytes为 inception 和0-th input should have 150528 bytes, but found 602112 bytesmobilenet 做准备。所以,一个因素4总是存在的。

要查看我所做的更改,输出diff original.java changed.java是:(忽略行号)

0 投票
0 回答
383 浏览

swift - 当 AVCaptureConnection videoOrientation 设置为纵向时,MLKit 人脸跟踪无法在视频流中找到人脸

我正在尝试使用Metal / Scenekit渲染器进行一些前置摄像头面部跟踪(是的,重新发明 snapchat)

Firebase用于面部跟踪

我有一个问题,设置AVCaptureConnectionvideoOrientation 导致没有检测到面部

如果我不将其设置为纵向,一切都很好,但我的 MTLTexture 会旋转和拉伸

纹理创建如下:

即使我在更改 videoOrientation 和创建金属纹理之前将样本缓冲区发送到人脸检测器,情况仍然如此(没有人脸跟踪)

0 投票
1 回答
1242 浏览

android - Firebase ML Kit:标签检测器导致内存消耗快速增加

更新 2:

我用来缩放位图的方法。

更新 1:

堆栈跟踪:

错误在这里:com.sev7en.curator.ai.image.FirebasePhotoLabelDetector.detectInPhoto(FirebasePhotoLabelDetector.kt:52)

如果我将其注释掉,则没有问题。我提供的位图也有同样的问题。

原帖

我正在使用以下方法来获取 FirebaseVisionLabelDetector:

像这样使用它:

但是通过查看 Android Profiler 中的内存,我注意到为提供的位图分配了大量内存,并且它们的引用没有被删除,因此它们没有被垃圾收集。我自己没有对 Bitmap 的引用。随着每次方法调用,整体内存使用量不断增加。

我忽略了函数的结果,因为我想首先提高它的性能。

0 投票
1 回答
892 浏览

ios - 无法使用 Firebase ML Kit Vision 文本检测器编译 iOS React Native 应用程序

我正在使用 React Native 构建一个应用程序,我已经“弹出”到它自己的 iOS 原生应用程序项目中。我有兴趣使用新的 Firebase ML Kit Vision Text Detector 来使用设备上模型识别图像中的文本,并且我愿意为它编写自己的 NativeModule 包装器(因为它太新了,我看不到react-native-firebase 等项目中的任何现有包装器)。

因此,我使用 Cocoapods 引入了 Firebase 依赖项,但是当我尝试编译新工作区时,出现以下链接器错误:

从我读到的关于 React Native 项目中重复符号错误的其他案例中,这通常是由于除了将 React 项目手动链接到主应用程序项目之外,还包括依赖于 React 的 pod(因为它最初是设置的)弹出后,以及使用react-native link) 链接的其他库。但是,这里不是这种情况——我通过 podfile 引入的唯一库是与 Firebase 相关的,所以我不确定冲突是如何发生的。

任何人的任何见解——也许来自致力于 iOS 新机器学习套件的 Firebase 团队?请注意,我什至还没有编写任何引用框架的代码,我只是试图让工作区配置进行编译。这是 podfile 供参考:

这是主应用程序项目中所有链接库项目的屏幕截图:

先前链接的项目依赖项

0 投票
2 回答
1117 浏览

android - 添加具有 Firebase 数据库依赖项的 Firebase ML 视觉依赖项时,android 应用程序崩溃

我有一个使用 firebase 数据库、身份验证和其他依赖项的项目,但是每当我尝试添加 firebase ml vision 或 google play service vision 依赖项时,尽管 gradle build 成功,应用程序就会崩溃。

这是我毕业的形象

编辑:这就是 logcat 的样子

0 投票
1 回答
842 浏览

android - 将图像信息从 Unity 传递到 Android 以使用 MLKit

在 Unity 中使用 MLKit 时遇到问题。我要做的是从 webcamtexture 获取图像信息,将指针传递给 Texture2D,然后从中获取原始字节并将它们传递给人脸识别类所在的插件。但是没有检测到人脸。

应该如何将图像/相机信息从 Unity 传递到 android 并因此使用 mlkit?

0 投票
0 回答
220 浏览

android - ML Kit Barcode Detector 无法识别 4 位或更少位数的 ITF 条形码?

我们在 Android 中成功使用 ML Kit Barcode Detector 有一段时间了,但注意到 FirebaseVisionBarcodeDetector 似乎无法识别 2 位或 4 位数字的 ITF(Interleaved 2 of 5)条形码(它适用于 6 个或更多符号)。据我了解,只要位数是偶数,ITF 就应该工作。

是否可以更改此限制,或者是否有任何计划允许更改此类内容(甚至可能是每个条形码类型)?

我认为当前具有最少位数的实现有性能原因。但是,我们有客户希望在扫描物品之前扫描识别特定货架的条形码;这些条形码通常只包含几个数字。

4 位 ITF 条码