从视频中读取帧时如何转换为OpenGL ES 2.0中使用的16位像素格式(AV Foundation)

| 我正在使用OpenGL对1280x720快速时间视频的每一帧进行一些图像处理。然后读取这些帧,并从中创建新的视频。问题是需要与OpenGL之间来回传输大量数据(使用glTexImage2D和glReadPixels),导致处理过程非常缓慢。 目前,我正在使用kCVPixelFormatType_32BGRA作为AVAssetReaderTrackOutput实例的像素格式。为了减少时间消耗,我想改用16位像素格式。不幸的是,在调用AVAssetReaderTrackOutput \的copyNextSampleBuffer方法时,更改为这种格式会给我空白的帧。有没有人在AV Foundation中使用16位像素格式的经验? 如果我无法让AV Foundation为我更改格式,我想可以“手动”将32位转换为16位,也许可以使用NEON指令?任何帮助表示赞赏。     
已邀请:
进一步的修订,现在是社区Wiki,因为仅在回答这个问题时我犯了太多错误,所以很有意义。 尽管CoreGraphics可以使用以下代码初步为您完成32位到16位的转换,但它报告说\“ 4整数位/分量; 16位/像素; 3分量颜色空间; kCGImageAlphaPremultipliedLast \”是不支持的参数组合。因此,CoreGraphics似乎无法在内部理解4位/通道图像。
CGColorSpaceRef colourSpace = CGColorSpaceCreateDeviceRGB();
CGDataProviderRef dataProvider = CGDataProviderCreateWithData(NULL, buffer, width*height*4, NULL);
CGImageRef inputImage = CGImageCreate(  width, height,
                                        8, 32, width*4, 
                                        colourSpace, 
                                        kCGImageAlphaPremultipliedLast | kCGBitmapByteOrder32Big,
                                        dataProvider,
                                        NULL, NO,
                                        kCGRenderingIntentDefault);
CGDataProviderRelease(dataProvider);

unsigned char *outputImage = (unsigned char *)malloc(width*height*2);
CGContextRef targetContext = CGBitmapContextCreate( outputImage,
                                                    width, height,
                                                    4, width*2,
                                                    colourSpace, kCGImageAlphaPremultipliedLast | kCGBitmapByteOrder32Big);
CGContextDrawImage(targetContext, CGRectMake(0, 0, width, height), inputImage);

/* uplopad outputImage to OpenGL here! */

CGContextRelease(targetContext);
CGImageRelease(inputImage);
CGColorSpaceRelease(colourSpace);
free(outputImage);
但是,根据文档:   支持的像素格式是   kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange,   kCVPixelFormatType_420YpCbCr8BiPlanarFullRange   和kCVPixelFormatType_32BGRA,除了   在支持的iPhone 3G上   像素格式是   kCVPixelFormatType_422YpCbCr8和   kCVPixelFormatType_32BGRA。 因此,为了减小接收到的大小,可以切换到YCbCr颜色空间。当缓冲区返回双平面(即整个图像的所有y分量,然后所有Cb和Cr分量作为一个单独的块)时,您可以将它们作为两个单独的纹理上载到OpenGL,并在着色器中重新组合,假设乐意将自己限制在3GS及更高版本,并且可以负担得起在SGX iOS设备上可用的8个纹理单元中的2个。 YCbCr是一种颜色空间,它将颜色分别表示为亮度(Y)和颜色(CbCr)。从经验上可以看出,可以以比亮度更低的频率对颜色通道进行采样,而任何人都无法分辨。像素格式的“ 420”部分描述了每个4个Y分量获得多少Cb和Cr分量–本质上讲,这告诉您,每四个Y采样得到一个Cb样本和一个Cr因此,您总共有六个字节来描述四个像素,在RGB中为12位/像素,而不是24位/像素。这样可以节省50%的存储空间。 出于GL的目的,您可能要支付额外的费用,因为它是两次上传而不是一次上传。如果要避免依赖的纹理读取,还需要使用三个变体,而且我认为SGX限于其中的八个。     

要回复问题请先登录注册