从视频中读取帧时如何转换为OpenGL ES 2.0中使用的16位像素格式(AV Foundation)
|
我正在使用OpenGL对1280x720快速时间视频的每一帧进行一些图像处理。然后读取这些帧,并从中创建新的视频。问题是需要与OpenGL之间来回传输大量数据(使用glTexImage2D和glReadPixels),导致处理过程非常缓慢。
目前,我正在使用kCVPixelFormatType_32BGRA作为AVAssetReaderTrackOutput实例的像素格式。为了减少时间消耗,我想改用16位像素格式。不幸的是,在调用AVAssetReaderTrackOutput \的copyNextSampleBuffer方法时,更改为这种格式会给我空白的帧。有没有人在AV Foundation中使用16位像素格式的经验?
如果我无法让AV Foundation为我更改格式,我想可以“手动”将32位转换为16位,也许可以使用NEON指令?任何帮助表示赞赏。
没有找到相关结果
已邀请:
1 个回复
体悉
但是,根据文档: 支持的像素格式是 kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange, kCVPixelFormatType_420YpCbCr8BiPlanarFullRange 和kCVPixelFormatType_32BGRA,除了 在支持的iPhone 3G上 像素格式是 kCVPixelFormatType_422YpCbCr8和 kCVPixelFormatType_32BGRA。 因此,为了减小接收到的大小,可以切换到YCbCr颜色空间。当缓冲区返回双平面(即整个图像的所有y分量,然后所有Cb和Cr分量作为一个单独的块)时,您可以将它们作为两个单独的纹理上载到OpenGL,并在着色器中重新组合,假设乐意将自己限制在3GS及更高版本,并且可以负担得起在SGX iOS设备上可用的8个纹理单元中的2个。 YCbCr是一种颜色空间,它将颜色分别表示为亮度(Y)和颜色(CbCr)。从经验上可以看出,可以以比亮度更低的频率对颜色通道进行采样,而任何人都无法分辨。像素格式的“ 420”部分描述了每个4个Y分量获得多少Cb和Cr分量–本质上讲,这告诉您,每四个Y采样得到一个Cb样本和一个Cr因此,您总共有六个字节来描述四个像素,在RGB中为12位/像素,而不是24位/像素。这样可以节省50%的存储空间。 出于GL的目的,您可能要支付额外的费用,因为它是两次上传而不是一次上传。如果要避免依赖的纹理读取,还需要使用三个变体,而且我认为SGX限于其中的八个。