Android Camera开发：从HAL_PIXEL_FORMAT到ImageFormat的映射与实战解析
1. 理解Android Camera开发中的图像格式基础
在Android Camera开发中，图像格式的选择直接影响着图像数据的采集、处理和显示效果。作为开发者，我们经常需要在HAL层和应用层之间进行格式转换和映射。这就像在两个说不同语言的人之间充当翻译，必须确保信息传递的准确性。
HAL_PIXEL_FORMAT_*是硬件抽象层（HAL）使用的图像像素格式，而ImageFormat.*则是应用层使用的格式表示。它们之间的关系不是简单的一一对应，而是需要考虑多种因素。我在实际项目中就遇到过因为格式选择不当导致图像显示异常的问题，后来发现是因为没有正确处理YUV420到RGB888的转换。
Android系统中最常用的图像格式可以分为三大类：YUV格式、RGB格式和特殊格式（如JPEG、RAW等）。每种格式都有其特定的使用场景和内存布局。比如YUV420_888格式因其高效的存储方式被广泛用于视频采集，而RGB_888则更适合图像处理和显示。
2. HAL_PIXEL_FORMAT与ImageFormat的详细映射关系
2.1 YUV格式家族的对应关系
YUV格式在视频采集和处理中占据重要地位。Android Camera2 API中最常用的YUV格式是YCBCR_420_888，它对应应用层的ImageFormat.YUV_420_888。这个格式的特点是内存占用小，适合视频流处理。
我在一个视频通话应用开发中就使用了这个格式组合：
ImageReader reader = ImageReader.newInstance( width, height, ImageFormat.YUV_420_888, 2);其他常见的YUV格式对应关系包括：
- HAL_PIXEL_FORMAT_YV12 ↔ ImageFormat.YV12
- HAL_PIXEL_FORMAT_YCRCB_420_SP ↔ ImageFormat.NV21
- HAL_PIXEL_FORMAT_YCBCR_422_SP ↔ ImageFormat.NV16
2.2 RGB格式家族的对应关系
RGB格式在图像显示和OpenGL处理中更为常见。最基础的对应关系是：
- HAL_PIXEL_FORMAT_RGBA_8888 ↔ PixelFormat.RGBA_8888
- HAL_PIXEL_FORMAT_RGBX_8888 ↔ PixelFormat.RGBX_8888
- HAL_PIXEL_FORMAT_RGB_565 ↔ PixelFormat.RGB_565
需要注意的是，BGRA_8888在HAL层有定义，但在应用层没有直接对应的ImageFormat。我在开发一个图像滤镜应用时就遇到了这个问题，最终通过手动转换解决了格式兼容性问题。
2.3 特殊格式的处理
JPEG、RAW和深度数据等特殊格式的处理需要特别注意。有趣的是，多个ImageFormat可能映射到同一个HAL_PIXEL_FORMAT_BLOB。例如：
- ImageFormat.JPEG
- ImageFormat.DEPTH_POINT_CLOUD
- ImageFormat.DEPTH_JPEG
- ImageFormat.HEIC
这些格式都使用HAL_PIXEL_FORMAT_BLOB(33)作为底层格式。区分它们的关键在于Data Space，我们将在下一节详细讨论。
3. Data Space在格式区分中的关键作用
3.1 Data Space的基本概念
Data Space是Android引入的一个重要概念，它帮助我们区分那些共享相同HAL_PIXEL_FORMAT但实际内容不同的图像数据。这就像给相同的容器贴上不同的标签，告诉我们里面装的是什么。
在实际开发中，我曾遇到一个棘手的问题：从Camera获取的BLOB数据有时是JPEG，有时是深度图。通过检查Data Space才最终解决了这个困惑。
3.2 常见Data Space类型
Android定义了多种Data Space类型，其中与Camera开发相关的主要有：
- HAL_DATASPACE_V0_JFIF：标识JPEG格式
- HAL_DATASPACE_DEPTH：标识深度数据
- HAL_DATASPACE_DYNAMIC_DEPTH：标识动态深度JPEG
- HAL_DATASPACE_HEIF：标识HEIC格式
- HAL_DATASPACE_UNKNOWN：未知或未指定的数据空间
3.3 实际应用示例
在配置CameraCaptureSession时，我们可以这样检查Data Space：
CameraCharacteristics characteristics = cameraManager.getCameraCharacteristics(cameraId); StreamConfigurationMap map = characteristics.get( CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP); // 获取支持的输出格式 int[] formats = map.getOutputFormats(); for (int format : formats) { if (format == ImageFormat.JPEG) { // 检查Data Space android.graphics.ImageFormat[] imageFormats = map.getValidOutputFormatsForInput(ImageFormat.JPEG); } }4. 实战：Camera2 API中的格式选择与配置
4.1 ImageReader的配置技巧
ImageReader是Camera2 API中接收图像数据的关键组件。正确配置ImageReader的格式至关重要。以下是我总结的一些经验：
- 对于预览场景，优先考虑YUV_420_888格式：
ImageReader previewReader = ImageReader.newInstance( previewWidth, previewHeight, ImageFormat.YUV_420_888, 2);- 对于拍照场景，使用JPEG格式：
ImageReader stillImageReader = ImageReader.newInstance( captureWidth, captureHeight, ImageFormat.JPEG, 2);- 深度相机应用需要使用特殊格式：
ImageReader depthReader = ImageReader.newInstance( depthWidth, depthHeight, ImageFormat.DEPTH16, 2);4.2 CaptureRequest的格式设置
在创建CaptureRequest时，我们需要确保目标Surface的格式与请求配置一致。一个常见的错误是：
// 错误示例：Surface格式与请求不匹配 Surface previewSurface = new Surface(textureView.getSurfaceTexture()); captureRequestBuilder.addTarget(previewSurface); // 忘记检查textureView是否支持所需格式正确的做法是先验证格式支持：
// 获取相机特性 CameraCharacteristics characteristics = cameraManager.getCameraCharacteristics(cameraId); StreamConfigurationMap map = characteristics.get( CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP); // 检查格式是否支持 if (!Arrays.asList(map.getOutputFormats()).contains(ImageFormat.YUV_420_888)) { throw new RuntimeException("YUV420_888 not supported"); }4.3 性能优化建议
在实际项目中，我发现格式选择会显著影响性能：
IMPLEMENTATION_DEFINED格式（HAL_PIXEL_FORMAT_IMPLEMENTATION_DEFINED）可以让厂商优化实现，但会降低可移植性。
RAW格式处理需要更多内存和CPU资源，建议只在必要时使用。
对于高分辨率图像，考虑使用YUV_420_888代替RGB_888，可以节省约50%的内存。
5. 常见问题与解决方案
5.1 格式不支持错误处理
当遇到"format not supported"错误时，可以采取以下步骤：
- 检查设备支持的格式列表：
StreamConfigurationMap map = characteristics.get( CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP); int[] formats = map.getOutputFormats();回退到基本格式（如JPEG或YUV_420_888）
考虑使用ImageFormat.PRIVATE配合SurfaceTexture
5.2 图像数据解析错误
格式映射错误常导致图像显示异常。我曾遇到NV21和NV16混淆的问题，解决方案是：
- 确认HAL层实际输出的格式
- 检查ImageReader配置的格式
- 验证数据解析代码是否正确
5.3 跨版本兼容性问题
不同Android版本对格式的支持可能有差异。例如，HEIC格式在Android 9及以上才得到完整支持。处理这类问题时：
- 检查Build.VERSION.SDK_INT
- 提供备用格式方案
- 在manifest中声明功能要求
6. 高级话题：自定义格式处理
6.1 扩展格式支持
某些设备可能支持扩展格式。我们可以通过以下方式检测：
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.Q) { List<CameraExtensionCharacteristics.Extension> extensions = extensionCharacteristics.getSupportedExtensions(); // 检查扩展支持的格式 }6.2 原生代码中的格式转换
对于性能敏感的应用，可以在native层处理格式转换。例如，将YUV转换为RGB：
// Native代码示例：YUV420转RGB void yuv2rgb(uint8_t* yuv, uint8_t* rgb, int width, int height) { // 转换实现... }6.3 多平面图像处理
Android 8.0引入了多平面图像支持，可以更高效地处理YUV数据：
Image.Plane[] planes = image.getPlanes(); ByteBuffer yBuffer = planes[0].getBuffer(); ByteBuffer uBuffer = planes[1].getBuffer(); ByteBuffer vBuffer = planes[2].getBuffer(); // 处理各个平面数据在实际项目中，正确处理图像格式是Camera开发的基础。从选择合适的HAL_PIXEL_FORMAT到配置正确的ImageFormat，再到处理Data Space，每一步都需要仔细考虑。我建议开发者在实际编码前，先充分测试目标设备支持的格式组合，并准备好回退方案。
变化（41）)
