Media Foundation 摄像头采集实战3个核心对象实现1080P30FPS数据流在Windows平台上进行摄像头数据采集开发者通常会面临DirectShow的复杂性挑战。Media FoundationMF作为微软推出的新一代多媒体框架提供了更简洁高效的API接口。本文将深入解析如何通过三个核心对象构建完整的摄像头采集流程并实现1080P30FPS的高清视频流捕获。1. 环境准备与基础配置要使用Media Foundation进行开发首先需要配置正确的开发环境。与DirectShow相比MF的依赖库更为精简主要涉及以下几个关键组件必需头文件#include windows.h #include mfapi.h #include mfidl.h #include mfreadwrite.h链接库配置#pragma comment(lib, Mfplat.lib) #pragma comment(lib, Mf.lib) #pragma comment(lib, mfreadwrite.lib) #pragma comment(lib, mfuuid.lib)在开始采集前必须初始化COM和MF库HRESULT hr CoInitializeEx(NULL, COINIT_APARTMENTTHREADED); if (FAILED(hr)) { // 错误处理 } hr MFStartup(MF_VERSION); if (FAILED(hr)) { CoUninitialize(); // 错误处理 }注意MFStartup和MFShutdown必须成对调用COM初始化也需对应使用CoUninitialize释放资源。2. 设备枚举与源创建Media Foundation通过IMFActivate对象表示视频采集设备设备枚举流程比DirectShow更为简洁IMFAttributes* pAttributes NULL; IMFActivate** ppDevices NULL; UINT32 deviceCount 0; // 创建属性存储 hr MFCreateAttributes(pAttributes, 1); if (FAILED(hr)) { /* 错误处理 */ } // 设置设备类型为视频采集 hr pAttributes-SetGUID( MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE, MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID); if (FAILED(hr)) { /* 错误处理 */ } // 枚举设备 hr MFEnumDeviceSources(pAttributes, ppDevices, deviceCount); if (FAILED(hr) || deviceCount 0) { /* 错误处理 */ }获取设备信息示例WCHAR* friendlyName NULL; UINT32 nameLength 0; hr ppDevices[0]-GetAllocatedString( MF_DEVSOURCE_ATTRIBUTE_FRIENDLY_NAME, friendlyName, nameLength); if (SUCCEEDED(hr)) { wprintf(LSelected device: %s\n, friendlyName); CoTaskMemFree(friendlyName); }创建媒体源对象IMFMediaSource* pSource NULL; hr ppDevices[0]-ActivateObject(IID_PPV_ARGS(pSource)); if (FAILED(hr)) { /* 错误处理 */ }3. 配置视频流参数Media Foundation支持灵活的视频格式配置以下是设置1080P30FPS的关键步骤获取当前媒体类型IMFSourceReader* pReader NULL; hr MFCreateSourceReaderFromMediaSource(pSource, NULL, pReader); if (FAILED(hr)) { /* 错误处理 */ } IMFMediaType* pNativeType NULL; hr pReader-GetNativeMediaType( MF_SOURCE_READER_FIRST_VIDEO_STREAM, 0, pNativeType);配置目标媒体类型IMFMediaType* pType NULL; hr MFCreateMediaType(pType); if (FAILED(hr)) { /* 错误处理 */ } // 设置主要类型为视频 hr pType-SetGUID(MF_MT_MAJOR_TYPE, MFMediaType_Video); if (FAILED(hr)) { /* 错误处理 */ } // 设置子类型为YUY2常见摄像头格式 hr pType-SetGUID(MF_MT_SUBTYPE, MFVideoFormat_YUY2); if (FAILED(hr)) { /* 错误处理 */ } // 设置分辨率1920x1080 hr MFSetAttributeSize(pType, MF_MT_FRAME_SIZE, 1920, 1080); if (FAILED(hr)) { /* 错误处理 */ } // 设置帧率30FPS hr MFSetAttributeRatio(pType, MF_MT_FRAME_RATE, 30, 1); if (FAILED(hr)) { /* 错误处理 */ } // 应用媒体类型 hr pReader-SetCurrentMediaType( MF_SOURCE_READER_FIRST_VIDEO_STREAM, NULL, pType); if (FAILED(hr)) { /* 错误处理 */ }4. 数据采集与处理配置完成后可以通过循环读取样本获取视频数据while (!bExit) { IMFSample* pSample NULL; DWORD streamIndex, flags; LONGLONG llTimeStamp; hr pReader-ReadSample( MF_SOURCE_READER_FIRST_VIDEO_STREAM, 0, streamIndex, flags, llTimeStamp, pSample); if (FAILED(hr)) { break; } if (flags MF_SOURCE_READERF_ENDOFSTREAM) { break; // 流结束 } if (pSample) { // 处理视频帧 ProcessVideoFrame(pSample); pSample-Release(); } }帧数据处理示例void ProcessVideoFrame(IMFSample* pSample) { IMFMediaBuffer* pBuffer NULL; BYTE* pData NULL; DWORD cbData 0; // 获取缓冲区 HRESULT hr pSample-ConvertToContiguousBuffer(pBuffer); if (FAILED(hr)) { return; } // 锁定缓冲区 hr pBuffer-Lock(pData, NULL, cbData); if (SUCCEEDED(hr)) { // 此处可添加图像处理代码 // pData指向原始图像数据cbData为数据长度 pBuffer-Unlock(); } pBuffer-Release(); }5. 高级功能与性能优化异步读取模式// 实现IMFSourceReaderCallback接口 class CSourceReaderCallback : public IMFSourceReaderCallback { // 实现必要方法 STDMETHODIMP OnReadSample(HRESULT hrStatus, DWORD dwStreamIndex, DWORD dwStreamFlags, LONGLONG llTimestamp, IMFSample* pSample); }; // 创建异步读取器 CSourceReaderCallback* pCallback new CSourceReaderCallback(); hr MFCreateSourceReaderFromMediaSource( pSource, pAttributes, pReader);格式转换// 创建转换器 IMFTransform* pTransform NULL; hr CoCreateInstance(CLSID_CColorConvertDMO, NULL, CLSCTX_INPROC_SERVER, IID_PPV_ARGS(pTransform)); // 设置输入输出类型 hr pTransform-SetInputType(0, pInputType, 0); hr pTransform-SetOutputType(0, pOutputType, 0); // 处理数据 hr pTransform-ProcessInput(0, pSample, 0); MFT_OUTPUT_DATA_BUFFER outputBuffer {0}; hr pTransform-ProcessOutput(0, 1, outputBuffer, dwStatus);性能优化技巧使用双缓冲或环形缓冲减少内存分配开销对于高分辨率视频考虑使用硬件加速解码合理设置采集缓冲区数量平衡延迟和内存占用使用IMFAttributes优化设备配置参数6. 资源释放与错误处理正确的资源释放顺序if (pReader) pReader-Release(); if (pSource) pSource-Release(); for (UINT32 i 0; i deviceCount; i) { if (ppDevices[i]) ppDevices[i]-Release(); } if (pAttributes) pAttributes-Release(); MFShutdown(); CoUninitialize();常见错误处理场景设备未连接HRESULT: MF_E_NO_CAPTURE_DEVICES_AVAILABLE格式不支持HRESULT: MF_E_INVALIDMEDIATYPE设备被占用HRESULT: MF_E_DEVICE_NOT_AVAILABLE在实际项目中我曾遇到一个棘手问题某些USB摄像头在异步模式下无法正常工作。经过排查发现这些设备未完全兼容UVC 1.1标准。解决方案是回退到同步读取模式或更换兼容性更好的摄像头设备。
Media Foundation 摄像头采集实战3个核心对象实现1080P30FPS数据流在Windows平台上进行摄像头数据采集开发者通常会面临DirectShow的复杂性挑战。Media FoundationMF作为微软推出的新一代多媒体框架提供了更简洁高效的API接口。本文将深入解析如何通过三个核心对象构建完整的摄像头采集流程并实现1080P30FPS的高清视频流捕获。1. 环境准备与基础配置要使用Media Foundation进行开发首先需要配置正确的开发环境。与DirectShow相比MF的依赖库更为精简主要涉及以下几个关键组件必需头文件#include windows.h #include mfapi.h #include mfidl.h #include mfreadwrite.h链接库配置#pragma comment(lib, Mfplat.lib) #pragma comment(lib, Mf.lib) #pragma comment(lib, mfreadwrite.lib) #pragma comment(lib, mfuuid.lib)在开始采集前必须初始化COM和MF库HRESULT hr CoInitializeEx(NULL, COINIT_APARTMENTTHREADED); if (FAILED(hr)) { // 错误处理 } hr MFStartup(MF_VERSION); if (FAILED(hr)) { CoUninitialize(); // 错误处理 }注意MFStartup和MFShutdown必须成对调用COM初始化也需对应使用CoUninitialize释放资源。2. 设备枚举与源创建Media Foundation通过IMFActivate对象表示视频采集设备设备枚举流程比DirectShow更为简洁IMFAttributes* pAttributes NULL; IMFActivate** ppDevices NULL; UINT32 deviceCount 0; // 创建属性存储 hr MFCreateAttributes(pAttributes, 1); if (FAILED(hr)) { /* 错误处理 */ } // 设置设备类型为视频采集 hr pAttributes-SetGUID( MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE, MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID); if (FAILED(hr)) { /* 错误处理 */ } // 枚举设备 hr MFEnumDeviceSources(pAttributes, ppDevices, deviceCount); if (FAILED(hr) || deviceCount 0) { /* 错误处理 */ }获取设备信息示例WCHAR* friendlyName NULL; UINT32 nameLength 0; hr ppDevices[0]-GetAllocatedString( MF_DEVSOURCE_ATTRIBUTE_FRIENDLY_NAME, friendlyName, nameLength); if (SUCCEEDED(hr)) { wprintf(LSelected device: %s\n, friendlyName); CoTaskMemFree(friendlyName); }创建媒体源对象IMFMediaSource* pSource NULL; hr ppDevices[0]-ActivateObject(IID_PPV_ARGS(pSource)); if (FAILED(hr)) { /* 错误处理 */ }3. 配置视频流参数Media Foundation支持灵活的视频格式配置以下是设置1080P30FPS的关键步骤获取当前媒体类型IMFSourceReader* pReader NULL; hr MFCreateSourceReaderFromMediaSource(pSource, NULL, pReader); if (FAILED(hr)) { /* 错误处理 */ } IMFMediaType* pNativeType NULL; hr pReader-GetNativeMediaType( MF_SOURCE_READER_FIRST_VIDEO_STREAM, 0, pNativeType);配置目标媒体类型IMFMediaType* pType NULL; hr MFCreateMediaType(pType); if (FAILED(hr)) { /* 错误处理 */ } // 设置主要类型为视频 hr pType-SetGUID(MF_MT_MAJOR_TYPE, MFMediaType_Video); if (FAILED(hr)) { /* 错误处理 */ } // 设置子类型为YUY2常见摄像头格式 hr pType-SetGUID(MF_MT_SUBTYPE, MFVideoFormat_YUY2); if (FAILED(hr)) { /* 错误处理 */ } // 设置分辨率1920x1080 hr MFSetAttributeSize(pType, MF_MT_FRAME_SIZE, 1920, 1080); if (FAILED(hr)) { /* 错误处理 */ } // 设置帧率30FPS hr MFSetAttributeRatio(pType, MF_MT_FRAME_RATE, 30, 1); if (FAILED(hr)) { /* 错误处理 */ } // 应用媒体类型 hr pReader-SetCurrentMediaType( MF_SOURCE_READER_FIRST_VIDEO_STREAM, NULL, pType); if (FAILED(hr)) { /* 错误处理 */ }4. 数据采集与处理配置完成后可以通过循环读取样本获取视频数据while (!bExit) { IMFSample* pSample NULL; DWORD streamIndex, flags; LONGLONG llTimeStamp; hr pReader-ReadSample( MF_SOURCE_READER_FIRST_VIDEO_STREAM, 0, streamIndex, flags, llTimeStamp, pSample); if (FAILED(hr)) { break; } if (flags MF_SOURCE_READERF_ENDOFSTREAM) { break; // 流结束 } if (pSample) { // 处理视频帧 ProcessVideoFrame(pSample); pSample-Release(); } }帧数据处理示例void ProcessVideoFrame(IMFSample* pSample) { IMFMediaBuffer* pBuffer NULL; BYTE* pData NULL; DWORD cbData 0; // 获取缓冲区 HRESULT hr pSample-ConvertToContiguousBuffer(pBuffer); if (FAILED(hr)) { return; } // 锁定缓冲区 hr pBuffer-Lock(pData, NULL, cbData); if (SUCCEEDED(hr)) { // 此处可添加图像处理代码 // pData指向原始图像数据cbData为数据长度 pBuffer-Unlock(); } pBuffer-Release(); }5. 高级功能与性能优化异步读取模式// 实现IMFSourceReaderCallback接口 class CSourceReaderCallback : public IMFSourceReaderCallback { // 实现必要方法 STDMETHODIMP OnReadSample(HRESULT hrStatus, DWORD dwStreamIndex, DWORD dwStreamFlags, LONGLONG llTimestamp, IMFSample* pSample); }; // 创建异步读取器 CSourceReaderCallback* pCallback new CSourceReaderCallback(); hr MFCreateSourceReaderFromMediaSource( pSource, pAttributes, pReader);格式转换// 创建转换器 IMFTransform* pTransform NULL; hr CoCreateInstance(CLSID_CColorConvertDMO, NULL, CLSCTX_INPROC_SERVER, IID_PPV_ARGS(pTransform)); // 设置输入输出类型 hr pTransform-SetInputType(0, pInputType, 0); hr pTransform-SetOutputType(0, pOutputType, 0); // 处理数据 hr pTransform-ProcessInput(0, pSample, 0); MFT_OUTPUT_DATA_BUFFER outputBuffer {0}; hr pTransform-ProcessOutput(0, 1, outputBuffer, dwStatus);性能优化技巧使用双缓冲或环形缓冲减少内存分配开销对于高分辨率视频考虑使用硬件加速解码合理设置采集缓冲区数量平衡延迟和内存占用使用IMFAttributes优化设备配置参数6. 资源释放与错误处理正确的资源释放顺序if (pReader) pReader-Release(); if (pSource) pSource-Release(); for (UINT32 i 0; i deviceCount; i) { if (ppDevices[i]) ppDevices[i]-Release(); } if (pAttributes) pAttributes-Release(); MFShutdown(); CoUninitialize();常见错误处理场景设备未连接HRESULT: MF_E_NO_CAPTURE_DEVICES_AVAILABLE格式不支持HRESULT: MF_E_INVALIDMEDIATYPE设备被占用HRESULT: MF_E_DEVICE_NOT_AVAILABLE在实际项目中我曾遇到一个棘手问题某些USB摄像头在异步模式下无法正常工作。经过排查发现这些设备未完全兼容UVC 1.1标准。解决方案是回退到同步读取模式或更换兼容性更好的摄像头设备。
![5分钟搞定Kodi字幕难题：智能字幕插件让你追剧无忧 [特殊字符]](http://pic.xiahunao.cn/yaotu/5分钟搞定Kodi字幕难题：智能字幕插件让你追剧无忧 [特殊字符])
