SportMV-Agent面向多机位体育视频的智能体多视角推理框架 SportMV-Bench评测基准论文网页原文https://arxiv.org/html/2607.11844v1摘要现有多模态大模型MLLM在单镜头视频问答基准上已取得不错效果但真实体育赛事存在大量遮挡、高速运动、多人交互场景仅单一机位画面极易丢失关键判罚证据。现实VAR视频助理裁判系统依赖多机位同步回放但目前尚无评测多视角联合推理的标准化数据集。本文构建SportMV-Bench多机位体育视频评测基准素材全部来自官方赛事回放通过大模型生成题目、多模态模型校验、人工三轮过滤构建数据集包含787组多机位视频包、2592道问答样本分为三大推理层级感知识别PAR、规则事件解读REI、裁判判罚推理ADR。大规模对照实验表明现有通用MLLM无法有效融合多机位互补信息核心瓶颈并非逻辑推理或体育领域知识而是细粒度视觉感知与自主机位筛选能力。基于该结论本文提出SportMV-Agent智能体推理框架由调度器循环执行机位主动选择、专用视觉感知工具调用、证据聚合推理流程。相比最强基线GPT-4.1整体准确率相对提升14.46%。三大核心贡献发布首个多机位体育视频理解基准SportMV-Bench覆盖三层推理任务提供标准化多视角融合评测方案系统性基线实验定位现有MLLM两大核心短板自主机位选择缺失、细粒度视觉感知能力不足设计SportMV-Agent智能体迭代推理架构内置机位切换与专项视觉工具大幅提升多机位赛事判罚准确率。1 引言1.1 研究背景体育视频分析广泛应用于战术复盘、教练指导、赛事裁判、内容检索、直播互动等场景。多模态大模型在单镜头视频问答任务表现优异但真实赛事画面存在严重遮挡、高速肢体接触、球员重叠等问题单一视角往往缺失判罚关键细节。现实VAR系统同步提供多个异步机位回放不同镜头提供互补证据某机位被球员遮挡无法看清肢体接触另一特写镜头可还原犯规细节部分场景需要融合多个机位信息才能完成合规判罚如禁区接触无控球双重证据判定黄牌任意球。现有体育数据集SoccerNet、Sports-QA等均仅提供单镜头输入无法评测模型跨视角证据融合能力缺少贴合真实裁判流程的多机位评测环境。1.2 现有模型核心缺陷全部机位直接拼接输入仅比随机单镜头提升2.1个百分点冗余遮挡画面引入噪声抵消互补信息增益若给定最优机位性能可相对提升10.6%说明模型无法自主筛选有效视角提供真实细粒度感知标注后准确率提升16.47%证明视觉感知是首要瓶颈思维链CoT、补充体育规则知识无法带来明显增益逻辑推理、领域知识并非核心短板。1.3 本文方案概述构建SportMV-Bench多机位体育问答基准三层任务匹配裁判完整思考链路开展系统性消融实验定位多视角理解两大瓶颈提出SportMV-Agent迭代智能体框架循环完成机位筛选、感知工具提取、证据聚合直至置信度充足大幅提升多机位判题精度。2 相关工作2.1 体育视频评测数据集早期数据集聚焦单一动作分类足球、篮球、花滑伴随MLLM发展出现Sports-QA、SoccerBench等视频问答基准但全部仅支持单镜头输入无法模拟多机位VAR回放场景。现有数据集缺少跨视角证据融合评测能力。2.2 体育视频理解方法传统方案基于手工特征做动作分类、犯规识别近年通用多模态大模型被直接用于体育问答但统一将全部画面一次性送入上下文缺少主动筛选关键镜头、分步提取视觉证据的机制面对遮挡场景极易产生视觉幻觉。3 SportMV-Bench 多机位评测基准3.1 任务定义给定同一赛事事件N条异步多机位视频V{V1,V2,...,VN}\mathcal{V}\{V_1,V_2,...,V_N\}V{V1,V2,...,VN}与自然语言问题qqq模型需要融合多视角证据选出唯一正确多选题答案a∗a^*a∗。3.2 数据集构建四阶段流水线原始素材采集采集NBA官方回放、SoccerNet足球多机位素材使用PySceneDetect切分镜头每组事件绑定官方裁判报告权威事件标注、犯规类型、接触部位多机位视频时间轴不完全同步提升推理难度。LLM生成问答样本以裁判报告为唯一事实依据生成多选题选项为细微差异同类变体禁止外部知识幻觉输出固定JSON格式每条题目关联对应多机位片段。多模态模型自动化校验使用GPT-5审核每条样本四条校验标准答案与报告一致、无法仅常识作答、图文匹配、存在可观测视觉证据随机打乱机位顺序重复校验3次不达标直接过滤。人工专家精筛体育裁判领域专家剔除歧义、无视觉线索、表述模糊题目统一优化选项措辞保证标准答案唯一可区分。3.3 数据集任务分层共2592道样本任务类型占比评测目标PAR 感知识别34.61%底层视觉识别遮挡下铲球、推人、肢体接触等细粒度动作识别REI 规则事件解读38.23%中层推理定位事件时空位置结合赛事规则解读事件含义ADR 裁判判罚推理27.16%高层综合推理融合多机位证据判定黄牌/红牌/点球/任意球PAR仅依靠视觉识别难点为遮挡、运动模糊下动作区分REI需要定位事件并绑定对应赛事规则ADR完整模拟裁判判罚流程融合多视角细节输出合规处罚结果任务难度最高。4 基准诊断实验现有MLLM性能瓶颈分析4.1 四类机位输入对照实验随机单镜头仅随机送入一个机位最优单镜头送入经专家标注信息量最高机位全部机位拼接一次性输入所有画面引导多机位提示模型优先使用最优镜头其余作为辅助。核心结论全部机位拼接仅小幅优于随机单镜头冗余遮挡画面引入大量噪声主动筛选关键视角可显著提升性能现有MLLM无自主机位选择机制是核心短板之一。4.2 三类优化策略消融CoT思维链复杂多视角场景下反而放大视觉幻觉准确率下降补充体育规则知识增益极低领域知识不是主要瓶颈提供真实细粒度感知标注准确率大幅上涨证明细粒度视觉识别是最大短板。4.3 基线模型整体性能主流开源/闭源MLLM在本基准整体准确率普遍偏低最强基线GPT-4.1整体仅59.68%ADR高层判罚任务不足47%现有模型无法处理多机位遮挡融合推理。5 SportMV-Agent 智能体多视角推理框架5.1 整体迭代流程智能体由调度器Orchestrator统一控制循环执行三步操作直至证据充足输出答案机位主动选择识别遮挡/模糊镜头切换信息量更高的机位感知工具调用执行动作识别、接触检测、接触部位识别专项视觉工具证据聚合汇总多轮视觉观测判断是否具备充足判罚依据。完整伪代码输入问题q、多机位视频集合V、感知工具集T、调度器模型π 初始化激活机位集合V_act V证据缓存E []迭代步数t1 while t ≤ 最大迭代轮数: 1. 构造当前状态问题、可用机位、历史证据 2. 调度器输出推理思路 下一步操作切换机位/调用工具/输出答案 3. 若置信度充足直接输出预测答案终止循环 4. 若操作为机位切换更新激活机位集合 5. 若操作为工具执行选定机位与感知工具运行视觉推理获取细粒度证据 6. 将本轮观测存入全局证据缓存t 1 输出最终判罚答案5.2 三大专用视觉感知工具动作识别T_act输出动作类型置信度排序滑铲/冲撞/投篮等接触检测T_con二元判断两名球员是否发生肢体接触接触部位识别T_par检测接触发生的人体躯干/四肢区域仅接触触发后调用。5.3 调度器功能以GPT-4.1作为调度大模型维护完整推理状态历史证据、当前可用机位、任务问题每轮自主决策机位切换当前画面遮挡严重时切换特写/远景机位工具调用需要细粒度肢体、接触信息时触发视觉工具终止输出证据完整、可稳定判定处罚时输出最终答案。6 完整实验结果6.1 主流模型整体对比模型PARREIADR整体准确率LLaVa-Next47.5259.2531.0748.19Qwen2.5-VL-72B46.4355.4335.6347.28Qwen3-VL-30B44.1155.0529.2544.89InternVL2.545.7858.2134.3147.81GLM-4.5V49.9560.0232.8849.79DeepSeek-VL34.9137.1627.7734.06GPT-4o54.4161.5940.9553.67GPT-4.1基线58.4468.7646.8259.68SportMV-Agent67.8173.1658.2268.31SportMV-Agent相对GPT-4.1基线提升14.46%三类任务全部显著上涨高层ADR判罚任务涨幅最大。6.2 消融实验替换调度器为GPT-4o整体下降8.6%强推理调度模型是核心关闭主动机位切换整体下降7.28%验证机位筛选模块必要性感知工具替换为GPT-4.1原生视觉仅小幅提升专用视觉工具性价比更高工具仅取Top1结果相比Top3下降2.27%多候选可自我纠错、降低视觉噪声。6.3 定性案例对比标准CoT直接一次性读取全部机位易被遮挡画面误导产生幻觉SportMV-Agent主动切换特写机位调用接触识别工具提取关键肢体细节融合多视角证据输出正确判罚规避单镜头视觉偏差。7 结论与局限7.1 结论构建首个多机位体育视频问答基准SportMV-Bench完整模拟VAR裁判多视角回放推理流程实验证明现有MLLM短板为自主机位选择、细粒度视觉感知而非逻辑与领域知识SportMV-Agent迭代智能体架构通过机位切换专用视觉工具分步提取证据在基准上大幅超越通用大模型基线。7.2 局限性数据集仅覆盖足球、篮球两类主流运动缺少排球、橄榄球等项目感知工具依赖现有开源多模态模型专业体育细粒度识别仍存在误差未拓展实时流媒体多机位在线推理场景。7.3 未来方向扩充多运动类别多机位数据集轻量化本地小模型实现整套智能体离线部署拓展实时赛事直播在线判罚推理系统。资源下载汇总论文HTML原文https://arxiv.org/html/2607.11844v1论文PDFhttps://arxiv.org/pdf/2607.11844SportMV-Bench数据集、智能体完整代码、实验复现脚本论文配套开源仓库实验运行环境vLLM多模态推理框架、PySceneDetect镜头切分工具附录附录A 完整实验超参视频统一采样帧率2fpsSportMV-Agent配置调度器GPT-4.1感知工具Qwen2.5-VL-72B工具输出Top3置信候选评测指标三次运行平均精确匹配准确率。附录B 数据集构造缺陷过滤细则列举大模型生成样本四类无效问题答案幻觉、题目无视觉线索、常识可解简单题、泛通用无关视频问题完整过滤判定标准。附录C 更多定性推理案例足球铲球、NBA投篮犯规等多机位对比样例直观展示CoT基线与SportMV-Agent推理差异。附录D 完整消融数据表机位配置、推理策略、调度器、感知工具全套定量消融原始数值。附录E 工程部署脚本数据集加载与预处理脚本SportMV-Agent迭代推理主程序批量评测自动化运行脚本指标统计与可视化代码。
SportMV-Agent面向多机位体育视频的智能体多视角推理框架 SportMV-Bench评测基准论文网页原文https://arxiv.org/html/2607.11844v1摘要现有多模态大模型MLLM在单镜头视频问答基准上已取得不错效果但真实体育赛事存在大量遮挡、高速运动、多人交互场景仅单一机位画面极易丢失关键判罚证据。现实VAR视频助理裁判系统依赖多机位同步回放但目前尚无评测多视角联合推理的标准化数据集。本文构建SportMV-Bench多机位体育视频评测基准素材全部来自官方赛事回放通过大模型生成题目、多模态模型校验、人工三轮过滤构建数据集包含787组多机位视频包、2592道问答样本分为三大推理层级感知识别PAR、规则事件解读REI、裁判判罚推理ADR。大规模对照实验表明现有通用MLLM无法有效融合多机位互补信息核心瓶颈并非逻辑推理或体育领域知识而是细粒度视觉感知与自主机位筛选能力。基于该结论本文提出SportMV-Agent智能体推理框架由调度器循环执行机位主动选择、专用视觉感知工具调用、证据聚合推理流程。相比最强基线GPT-4.1整体准确率相对提升14.46%。三大核心贡献发布首个多机位体育视频理解基准SportMV-Bench覆盖三层推理任务提供标准化多视角融合评测方案系统性基线实验定位现有MLLM两大核心短板自主机位选择缺失、细粒度视觉感知能力不足设计SportMV-Agent智能体迭代推理架构内置机位切换与专项视觉工具大幅提升多机位赛事判罚准确率。1 引言1.1 研究背景体育视频分析广泛应用于战术复盘、教练指导、赛事裁判、内容检索、直播互动等场景。多模态大模型在单镜头视频问答任务表现优异但真实赛事画面存在严重遮挡、高速肢体接触、球员重叠等问题单一视角往往缺失判罚关键细节。现实VAR系统同步提供多个异步机位回放不同镜头提供互补证据某机位被球员遮挡无法看清肢体接触另一特写镜头可还原犯规细节部分场景需要融合多个机位信息才能完成合规判罚如禁区接触无控球双重证据判定黄牌任意球。现有体育数据集SoccerNet、Sports-QA等均仅提供单镜头输入无法评测模型跨视角证据融合能力缺少贴合真实裁判流程的多机位评测环境。1.2 现有模型核心缺陷全部机位直接拼接输入仅比随机单镜头提升2.1个百分点冗余遮挡画面引入噪声抵消互补信息增益若给定最优机位性能可相对提升10.6%说明模型无法自主筛选有效视角提供真实细粒度感知标注后准确率提升16.47%证明视觉感知是首要瓶颈思维链CoT、补充体育规则知识无法带来明显增益逻辑推理、领域知识并非核心短板。1.3 本文方案概述构建SportMV-Bench多机位体育问答基准三层任务匹配裁判完整思考链路开展系统性消融实验定位多视角理解两大瓶颈提出SportMV-Agent迭代智能体框架循环完成机位筛选、感知工具提取、证据聚合直至置信度充足大幅提升多机位判题精度。2 相关工作2.1 体育视频评测数据集早期数据集聚焦单一动作分类足球、篮球、花滑伴随MLLM发展出现Sports-QA、SoccerBench等视频问答基准但全部仅支持单镜头输入无法模拟多机位VAR回放场景。现有数据集缺少跨视角证据融合评测能力。2.2 体育视频理解方法传统方案基于手工特征做动作分类、犯规识别近年通用多模态大模型被直接用于体育问答但统一将全部画面一次性送入上下文缺少主动筛选关键镜头、分步提取视觉证据的机制面对遮挡场景极易产生视觉幻觉。3 SportMV-Bench 多机位评测基准3.1 任务定义给定同一赛事事件N条异步多机位视频V{V1,V2,...,VN}\mathcal{V}\{V_1,V_2,...,V_N\}V{V1,V2,...,VN}与自然语言问题qqq模型需要融合多视角证据选出唯一正确多选题答案a∗a^*a∗。3.2 数据集构建四阶段流水线原始素材采集采集NBA官方回放、SoccerNet足球多机位素材使用PySceneDetect切分镜头每组事件绑定官方裁判报告权威事件标注、犯规类型、接触部位多机位视频时间轴不完全同步提升推理难度。LLM生成问答样本以裁判报告为唯一事实依据生成多选题选项为细微差异同类变体禁止外部知识幻觉输出固定JSON格式每条题目关联对应多机位片段。多模态模型自动化校验使用GPT-5审核每条样本四条校验标准答案与报告一致、无法仅常识作答、图文匹配、存在可观测视觉证据随机打乱机位顺序重复校验3次不达标直接过滤。人工专家精筛体育裁判领域专家剔除歧义、无视觉线索、表述模糊题目统一优化选项措辞保证标准答案唯一可区分。3.3 数据集任务分层共2592道样本任务类型占比评测目标PAR 感知识别34.61%底层视觉识别遮挡下铲球、推人、肢体接触等细粒度动作识别REI 规则事件解读38.23%中层推理定位事件时空位置结合赛事规则解读事件含义ADR 裁判判罚推理27.16%高层综合推理融合多机位证据判定黄牌/红牌/点球/任意球PAR仅依靠视觉识别难点为遮挡、运动模糊下动作区分REI需要定位事件并绑定对应赛事规则ADR完整模拟裁判判罚流程融合多视角细节输出合规处罚结果任务难度最高。4 基准诊断实验现有MLLM性能瓶颈分析4.1 四类机位输入对照实验随机单镜头仅随机送入一个机位最优单镜头送入经专家标注信息量最高机位全部机位拼接一次性输入所有画面引导多机位提示模型优先使用最优镜头其余作为辅助。核心结论全部机位拼接仅小幅优于随机单镜头冗余遮挡画面引入大量噪声主动筛选关键视角可显著提升性能现有MLLM无自主机位选择机制是核心短板之一。4.2 三类优化策略消融CoT思维链复杂多视角场景下反而放大视觉幻觉准确率下降补充体育规则知识增益极低领域知识不是主要瓶颈提供真实细粒度感知标注准确率大幅上涨证明细粒度视觉识别是最大短板。4.3 基线模型整体性能主流开源/闭源MLLM在本基准整体准确率普遍偏低最强基线GPT-4.1整体仅59.68%ADR高层判罚任务不足47%现有模型无法处理多机位遮挡融合推理。5 SportMV-Agent 智能体多视角推理框架5.1 整体迭代流程智能体由调度器Orchestrator统一控制循环执行三步操作直至证据充足输出答案机位主动选择识别遮挡/模糊镜头切换信息量更高的机位感知工具调用执行动作识别、接触检测、接触部位识别专项视觉工具证据聚合汇总多轮视觉观测判断是否具备充足判罚依据。完整伪代码输入问题q、多机位视频集合V、感知工具集T、调度器模型π 初始化激活机位集合V_act V证据缓存E []迭代步数t1 while t ≤ 最大迭代轮数: 1. 构造当前状态问题、可用机位、历史证据 2. 调度器输出推理思路 下一步操作切换机位/调用工具/输出答案 3. 若置信度充足直接输出预测答案终止循环 4. 若操作为机位切换更新激活机位集合 5. 若操作为工具执行选定机位与感知工具运行视觉推理获取细粒度证据 6. 将本轮观测存入全局证据缓存t 1 输出最终判罚答案5.2 三大专用视觉感知工具动作识别T_act输出动作类型置信度排序滑铲/冲撞/投篮等接触检测T_con二元判断两名球员是否发生肢体接触接触部位识别T_par检测接触发生的人体躯干/四肢区域仅接触触发后调用。5.3 调度器功能以GPT-4.1作为调度大模型维护完整推理状态历史证据、当前可用机位、任务问题每轮自主决策机位切换当前画面遮挡严重时切换特写/远景机位工具调用需要细粒度肢体、接触信息时触发视觉工具终止输出证据完整、可稳定判定处罚时输出最终答案。6 完整实验结果6.1 主流模型整体对比模型PARREIADR整体准确率LLaVa-Next47.5259.2531.0748.19Qwen2.5-VL-72B46.4355.4335.6347.28Qwen3-VL-30B44.1155.0529.2544.89InternVL2.545.7858.2134.3147.81GLM-4.5V49.9560.0232.8849.79DeepSeek-VL34.9137.1627.7734.06GPT-4o54.4161.5940.9553.67GPT-4.1基线58.4468.7646.8259.68SportMV-Agent67.8173.1658.2268.31SportMV-Agent相对GPT-4.1基线提升14.46%三类任务全部显著上涨高层ADR判罚任务涨幅最大。6.2 消融实验替换调度器为GPT-4o整体下降8.6%强推理调度模型是核心关闭主动机位切换整体下降7.28%验证机位筛选模块必要性感知工具替换为GPT-4.1原生视觉仅小幅提升专用视觉工具性价比更高工具仅取Top1结果相比Top3下降2.27%多候选可自我纠错、降低视觉噪声。6.3 定性案例对比标准CoT直接一次性读取全部机位易被遮挡画面误导产生幻觉SportMV-Agent主动切换特写机位调用接触识别工具提取关键肢体细节融合多视角证据输出正确判罚规避单镜头视觉偏差。7 结论与局限7.1 结论构建首个多机位体育视频问答基准SportMV-Bench完整模拟VAR裁判多视角回放推理流程实验证明现有MLLM短板为自主机位选择、细粒度视觉感知而非逻辑与领域知识SportMV-Agent迭代智能体架构通过机位切换专用视觉工具分步提取证据在基准上大幅超越通用大模型基线。7.2 局限性数据集仅覆盖足球、篮球两类主流运动缺少排球、橄榄球等项目感知工具依赖现有开源多模态模型专业体育细粒度识别仍存在误差未拓展实时流媒体多机位在线推理场景。7.3 未来方向扩充多运动类别多机位数据集轻量化本地小模型实现整套智能体离线部署拓展实时赛事直播在线判罚推理系统。资源下载汇总论文HTML原文https://arxiv.org/html/2607.11844v1论文PDFhttps://arxiv.org/pdf/2607.11844SportMV-Bench数据集、智能体完整代码、实验复现脚本论文配套开源仓库实验运行环境vLLM多模态推理框架、PySceneDetect镜头切分工具附录附录A 完整实验超参视频统一采样帧率2fpsSportMV-Agent配置调度器GPT-4.1感知工具Qwen2.5-VL-72B工具输出Top3置信候选评测指标三次运行平均精确匹配准确率。附录B 数据集构造缺陷过滤细则列举大模型生成样本四类无效问题答案幻觉、题目无视觉线索、常识可解简单题、泛通用无关视频问题完整过滤判定标准。附录C 更多定性推理案例足球铲球、NBA投篮犯规等多机位对比样例直观展示CoT基线与SportMV-Agent推理差异。附录D 完整消融数据表机位配置、推理策略、调度器、感知工具全套定量消融原始数值。附录E 工程部署脚本数据集加载与预处理脚本SportMV-Agent迭代推理主程序批量评测自动化运行脚本指标统计与可视化代码。
: 面向自动驾驶场景的点云数据增强实战)
