cómo convertir un CVImageBufferRef a UIImage

Estoy tratando de capturar video desde una cámara. captureOutput:didOutputSampleBuffer: callback para activar y me da un buffer de muestra que luego convierto a CVImageBufferRef . Luego bash convertir esa imagen a un UIImage que puedo ver en mi aplicación.

 - (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection { CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer); /*Lock the image buffer*/ CVPixelBufferLockBaseAddress(imageBuffer,0); /*Get information about the image*/ uint8_t *baseAddress = (uint8_t *)CVPixelBufferGetBaseAddress(imageBuffer); size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer); size_t width = CVPixelBufferGetWidth(imageBuffer); size_t height = CVPixelBufferGetHeight(imageBuffer); /*We unlock the image buffer*/ CVPixelBufferUnlockBaseAddress(imageBuffer,0); /*Create a CGImageRef from the CVImageBufferRef*/ CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB(); CGContextRef newContext = CGBitmapContextCreate(baseAddress, width, height, 8, bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst); CGImageRef newImage = CGBitmapContextCreateImage(newContext); /*We release some components*/ CGContextRelease(newContext); CGColorSpaceRelease(colorSpace); /*We display the result on the custom layer*/ /*self.customLayer.contents = (id) newImage;*/ /*We display the result on the image view (We need to change the orientation of the image so that the video is displayed correctly)*/ UIImage *image= [UIImage imageWithCGImage:newImage scale:1.0 orientation:UIImageOrientationRight]; self.capturedView.image = image; /*We relase the CGImageRef*/ CGImageRelease(newImage); } 

el código parece funcionar bien hasta la llamada a CGBitmapContextCreate . siempre devuelve un puntero NULL . por lo tanto, ninguno de los demás funciona. pase lo que pase, la función devuelve null. no tengo ni idea de porqué.

La forma en que transfiere baseAddress presupone que los datos de imagen están en la forma

ACCC

(donde C es un componente de color, R || G || B).

Si ha configurado su AVCaptureSession para capturar los marcos de video en formato nativo, es muy probable que esté recuperando los datos de video en formato plano YUV420. (Consulte: texto del enlace ) Para hacer lo que está intentando hacer aquí, probablemente lo más fácil sea especificar que desea los cuadros de video capturados en kCVPixelFormatType_32RGBA. Apple recomienda que capture los fotogtwigs de video en kCVPixelFormatType_32BGRA si los captura en formato no plano en absoluto, el razonamiento para el cual no está especificado, pero puedo suponer razonablemente que se debe a consideraciones de rendimiento.

Advertencia: No he hecho esto, y estoy asumiendo que el acceso a los contenidos de CVPixelBufferRef como este es una forma razonable de construir la imagen. No puedo garantizar que esto realmente funcione, pero puedo / decirte que la forma en que estás haciendo las cosas de manera confiable ahora no funcionará debido al formato de píxel en el que probablemente (tal vez) estés capturando los cuadros de video.

Si simplemente necesita convertir un CVImageBufferRef a UIImage, parece ser mucho más difícil de lo que debería ser. Esencialmente necesitas convertir a CIImage, luego CGImage, THEN UIImage. Desearía poder decirte por qué. Quién sabe.

 -(void) screenshotOfVideoStream:(CVImageBufferRef)imageBuffer { CIImage *ciImage = [CIImage imageWithCVPixelBuffer:imageBuffer]; CIContext *temporaryContext = [CIContext contextWithOptions:nil]; CGImageRef videoImage = [temporaryContext createCGImage:ciImage fromRect:CGRectMake(0, 0, CVPixelBufferGetWidth(imageBuffer), CVPixelBufferGetHeight(imageBuffer))]; UIImage *image = [[UIImage alloc] initWithCGImage:videoImage]; [self doSomethingWithOurUIImage:image]; CGImageRelease(videoImage); } 

Este método particular funcionó para mí cuando estaba convirtiendo video H.264 usando la callback de VTDecompressionSession para obtener el CVImageBufferRef (pero debería funcionar para cualquier CVImageBufferRef). Estaba usando iOS 8.1, XCode 6.2.

Puede llamar directamente:

 self.yourImageView.image=[[UIImage alloc] initWithCIImage:[CIImage imageWithCVPixelBuffer:imageBuffer]]; 

Benjamin Loulier escribió una muy buena publicación sobre la salida de un CVImageBufferRef bajo la consideración de la velocidad con múltiples enfoques.

También puede encontrar un ejemplo de trabajo en github;)

¿Qué hay de nuevo en el tiempo? 😉 Aquí tienes: http://web.archive.org/web/20140426162537/http://www.benjaminloulier.com/posts/ios4-and-direct-access-to-the-camera