Android中的多线程实时相机处理-Java 学习之路

目标是在Android设备的实时预览中进行实时图像处理 . 这已经在很多时候被解决了，并且在网上有一些提及（参见问题末尾的参考文献），但是，我没有找到关于适当的多线程框架的单一建议来实现这一点 .

根据我的理解，为了正确使用多线程（以及具有多个物理内核的设备），可以实现以下内容：

在UI线程（ onCameraPreview ）上调用帧处理程序，并将帧数据排入共享队列 Q .
在 Q 上等待 n 个线程的线程池 . 每当可用时，每个线程都会使一个帧消失，"heavy"图像处理并将消息发布到带有结果的UI线程 .

我的主要问题是以上是否是正确的方向，以及如何在Android上完成它 . 此外，如果图像处理必须以串行方式完成，那么所需的修改是什么 - 即在任何给定时间处理不超过1帧但仍然在与主要线程分开的线程上完成处理 .

Update 1:
我最终将其实现为 AsyncTask ，它将原始帧数据作为输入接收并使用 onPostExecute 回调来更新UI . 然而，这种情况每秒发生大约10次，这让我想知道它是否不会产生太多的开销 . 这就是为什么，就我而言，这个问题仍然是开放的，以获得验证，这确实是最有效的方法 . 此外，我还不清楚如何将这种方法扩展到多个核心上的多个工作线程 .

1 回答

1
Android文档声明，带有byte []数组的“onPreviewFrame（）”调用不能放入队列或其他东西，因为每次调用后都会重用该数组 . 必须尽快返回呼叫以获得更好的帧速率 .

所以这就是你能做的（我做到了，得到了29 FPS）
- 通过JNI调用将数组传递给Native c或c库
- 在C程序中实现一个队列，并在malloc节点中存储该数组
- 内存复制数组并返回调用 .
- 然后回电话
- En对节点进行排队以进行处理，并对队列节点进行处理以使用某些编码器（如FFMPEG）进行处理
- 运行此排队过程和并行编码过程，以便在编码帧后可以从内存中清除该内容以防止内存溢出 .
- 并记住选择最佳分辨率，以便编码器匹配输入帧速率，以便队列不会出现内存溢出 .
回复于 2024-04-28T18:07:49+08:00

Android中的多线程实时相机处理

1 回答

相关问题