一家制造企业部署了一个面向内部员工的人事智能体知识库里只有人事制度、考勤规则、福利政策相关的文档。某天有员工问智能体这个月的产线良品率为什么下降了智能体没有说这个问题超出了它的能力范围而是基于模型自身的通用知识生成了一段分析提到原材料波动、设备老化、操作规范执行不到位三个可能原因还给出了具体的百分比数字。员工把这段分析发到生产部门群里生产部门一头雾水因为他们没有向智能体提供过任何生产数据那些百分比完全是模型编造的。人事智能体回答了一个它不该回答的问题还编造了数据但整个过程没有任何环节告诉它这个问题你不该答。技术团队的直觉反应是在系统提示词里加一条规则如果用户问的问题和人事无关请告知用户你只能回答人事相关问题。但什么算和人事有关边界并不清晰员工问年假能不能跨年使用算人事问题员工问产线排班怎么排就既涉及考勤也涉及生产管理。靠一条自然语言规则来界定能力边界模型在执行时会出现大量误判。另一部分人选择把通用模型换成在人事文档上微调过的专用模型但微调只能改变模型的行为倾向让模型在某些话题上更不愿意展开并不能替代运行时的治理机制范围外的问题仍然可能被生成出看似合理的回复。真正的问题不在提示词写得够不够细、模型微调得够不够专而在于系统缺少一套从问题分类到证据判断再到拒答执行的处理机制。一类原因是问题没有经过能力范围分类。用户输入到达智能体后直接进入检索和生成流程系统不会先判断这个问题是否属于智能体被设计的回答范围。问题范围分类和问题检索是两个独立步骤但很多实现把这两步合并了默认所有进入流程的问题都在范围内。没有范围分类的前置环节智能体对任何输入都会启动生成不会因为问题越界而提前退出。能力边界不在流程入口做检查等于把判断责任完全交给模型自己而模型的默认行为是尽量给出回答而不是承认不会。另一类原因是模型倾向于生成而不是拒答。大语言模型在训练阶段接触过海量文本对几乎所有话题都有一定的生成能力。模型面对超出知识库范围的问题时不会返回空结果而是调用自身参数里存储的通用知识来生成回复这种回复看起来通顺合理但内容可能和企业的实际情况毫无关系。模型的生成倾向在没有检索结果或检索结果相关度低时尤其明显检索没命中的时候恰恰是模型最可能编造的时候。没有外部机制约束模型的生成倾向范围外的问题就会得到看似专业实则虚构的答复。还有一类原因是证据判断只靠单一相关度阈值。智能体检索知识库后返回若干文档片段系统通常只看相关度得分是否超过一个固定阈值来决定这些片段能不能用于生成。但单一阈值无法反映证据的实际质量几条相关度刚过阈值但内容高度重复的片段和几条相关度更高且从不同角度覆盖问题的片段在阈值检查看来都是通过实际证据强度完全不同。检索结果之间存在矛盾时比如两份文档对同一政策给出了不同版本的规定阈值检查也不会发现冲突。只靠一个数值门槛来判断证据够不够等于把证据质量的判断简化成了一条及格线。本文基于青山不语AI工作室在部分项目中的能力边界治理实践将这套处理框架概括为能力边界识别与拒答降级机制。问题范围分类解决能力边界在流程入口缺失的问题。用户输入进入检索和生成之前先经过一轮范围分类判断问题是否属于智能体被设计的回答领域。范围分类不是靠模型自由判断而是基于预先定义的能力域标签集每个标签对应一个知识库分组。问题匹配到某个标签就进入对应分组检索匹配不到任何标签就进入拒答路径。一个问题同时涉及多个能力域时比如产线排班既涉及考勤也涉及生产管理系统对问题做复合拆解分别判断各部分属于哪个能力域授权范围内的部分正常处理范围外部分拒答或转交对应渠道无法拆分的问题先向用户澄清意图根据补充信息再判断属于哪一类。标签集由业务侧定义并根据运行中出现的误判持续调整。没有范围分类的前置检查智能体对所有问题一视同仁地启动生成范围外的问题得不到拦截。证据综合判断解决单一相关度阈值无法反映证据质量的问题。检索结果返回后系统从多个维度评估证据是否充分先对检索结果做重排把真正和问题匹配的片段排到前面再统计有效证据数量排除重复和近义片段后看还剩多少条独立支撑接着检查覆盖度看证据是否覆盖了问题涉及的各个子话题最后检测证据之间是否存在矛盾有冲突的结论不能直接用于生成。这四个维度是证据评估的输入而非机械的与门判定证据标准按问题类型和风险等级设定低风险常识性问题可能只需要一条当前有效的权威直接证据就足够回答高风险涉及企业事实或合规结论的问题则需要多维度交叉验证。只靠单一阈值的证据判断重排、数量、覆盖和冲突这些影响结论可靠性的因素全部被忽略。四类路由解决不同边界和证据状态下智能体该怎么回复的问题。范围内且证据充分的问题智能体正常生成回复并附上来源引用范围内但证据不足的问题智能体不硬凑回复而是告知用户当前资料不足以给出完整答复同时转入人工处理队列由对应业务人员跟进明显范围外的问题智能体不生成内容性回复返回拒答消息并引导用户到合适的渠道边界模糊的问题智能体先向用户澄清问题意图根据用户补充的信息再判断属于哪一类。四类路由的判断依据是范围分类结果和证据综合评估结果两个环节的输出决定问题走哪条路径。没有分类路由的处理机制智能体对所有问题走同一条生成路径无论在不在范围、证据够不够都一律生成回复。通用知识的使用需要严格限制。默认情况下证据不足或范围外的问题不允许智能体调用模型自身的通用知识来生成回复。只有在企业明确批准的低风险场景下例如通用常识类问题、不涉及企业内部事实的问题才允许智能体基于通用知识回答并且回复中不得包含企业事实和具体数字。企业事实和具体数字必须来自用户有权访问的企业授权数据源可以包括知识库、数据库、业务API或经批准的工具结果不能由模型凭通用知识补全。这一限制防止模型在没有证据支撑的情况下编造看似具体实则虚构的数据就像开篇那个被编造出百分比数字的产线良品率分析。输出前拦截解决生成内容已经越界但仍然被投递给用户的问题。智能体生成回复后在投递前经过一轮内容检查回复中是否出现了没有证据支撑的具体数字这些数字是否能在用户有权访问的授权数据源中找到来源回复中是否包含了超出当前能力域的企业内部事实回复中是否得出了范围外的结论比如人事智能体的回复里出现了生产数据的分析。拦截后按原因分流处理范围外内容直接拒答或引导用户到合适渠道证据不足的内容转人工处理或告知用户当前资料不足只有证据充分但表达方式偏离时才触发重新生成。没有输出前拦截即使前面的分类和证据判断环节有疏漏越界内容也会一路畅通地到达用户。这套机制的运行依赖几个前提能力域标签集和范围分类规则由开发团队和业务侧共同设计标签集需要根据实际运行中的误判案例持续维护证据综合判断中的重排模型、有效证据计数规则和冲突检测逻辑由开发团队实现覆盖度标准由业务侧定义四类路由中哪些场景允许通用知识回答、哪些场景必须转人工由企业根据风险等级审批决定输出前拦截的检查规则由开发团队和业务侧共同定义。能力边界识别和拒答降级是工程实现能力范围的划定、证据标准和通用知识使用授权由企业内部定义。在我看来智能体硬答范围外问题的根因不在模型该不该微调、提示词该写多细而在于系统有没有在生成之前和生成之后各设置一道检查。问题不分类就进生成证据判断只看一个阈值没有四类路由只有一条生成路径通用知识不受约束地补进回复生成完了不做输出拦截——这五个环节缺了任何一个智能体就会在不该回答的领域里编造内容。让智能体学会说这个问题我回答不了、这些数据我没有依据比让它学会回答更多问题更影响用户对它的信任。
一家制造企业部署了一个面向内部员工的人事智能体知识库里只有人事制度、考勤规则、福利政策相关的文档。某天有员工问智能体这个月的产线良品率为什么下降了智能体没有说这个问题超出了它的能力范围而是基于模型自身的通用知识生成了一段分析提到原材料波动、设备老化、操作规范执行不到位三个可能原因还给出了具体的百分比数字。员工把这段分析发到生产部门群里生产部门一头雾水因为他们没有向智能体提供过任何生产数据那些百分比完全是模型编造的。人事智能体回答了一个它不该回答的问题还编造了数据但整个过程没有任何环节告诉它这个问题你不该答。技术团队的直觉反应是在系统提示词里加一条规则如果用户问的问题和人事无关请告知用户你只能回答人事相关问题。但什么算和人事有关边界并不清晰员工问年假能不能跨年使用算人事问题员工问产线排班怎么排就既涉及考勤也涉及生产管理。靠一条自然语言规则来界定能力边界模型在执行时会出现大量误判。另一部分人选择把通用模型换成在人事文档上微调过的专用模型但微调只能改变模型的行为倾向让模型在某些话题上更不愿意展开并不能替代运行时的治理机制范围外的问题仍然可能被生成出看似合理的回复。真正的问题不在提示词写得够不够细、模型微调得够不够专而在于系统缺少一套从问题分类到证据判断再到拒答执行的处理机制。一类原因是问题没有经过能力范围分类。用户输入到达智能体后直接进入检索和生成流程系统不会先判断这个问题是否属于智能体被设计的回答范围。问题范围分类和问题检索是两个独立步骤但很多实现把这两步合并了默认所有进入流程的问题都在范围内。没有范围分类的前置环节智能体对任何输入都会启动生成不会因为问题越界而提前退出。能力边界不在流程入口做检查等于把判断责任完全交给模型自己而模型的默认行为是尽量给出回答而不是承认不会。另一类原因是模型倾向于生成而不是拒答。大语言模型在训练阶段接触过海量文本对几乎所有话题都有一定的生成能力。模型面对超出知识库范围的问题时不会返回空结果而是调用自身参数里存储的通用知识来生成回复这种回复看起来通顺合理但内容可能和企业的实际情况毫无关系。模型的生成倾向在没有检索结果或检索结果相关度低时尤其明显检索没命中的时候恰恰是模型最可能编造的时候。没有外部机制约束模型的生成倾向范围外的问题就会得到看似专业实则虚构的答复。还有一类原因是证据判断只靠单一相关度阈值。智能体检索知识库后返回若干文档片段系统通常只看相关度得分是否超过一个固定阈值来决定这些片段能不能用于生成。但单一阈值无法反映证据的实际质量几条相关度刚过阈值但内容高度重复的片段和几条相关度更高且从不同角度覆盖问题的片段在阈值检查看来都是通过实际证据强度完全不同。检索结果之间存在矛盾时比如两份文档对同一政策给出了不同版本的规定阈值检查也不会发现冲突。只靠一个数值门槛来判断证据够不够等于把证据质量的判断简化成了一条及格线。本文基于青山不语AI工作室在部分项目中的能力边界治理实践将这套处理框架概括为能力边界识别与拒答降级机制。问题范围分类解决能力边界在流程入口缺失的问题。用户输入进入检索和生成之前先经过一轮范围分类判断问题是否属于智能体被设计的回答领域。范围分类不是靠模型自由判断而是基于预先定义的能力域标签集每个标签对应一个知识库分组。问题匹配到某个标签就进入对应分组检索匹配不到任何标签就进入拒答路径。一个问题同时涉及多个能力域时比如产线排班既涉及考勤也涉及生产管理系统对问题做复合拆解分别判断各部分属于哪个能力域授权范围内的部分正常处理范围外部分拒答或转交对应渠道无法拆分的问题先向用户澄清意图根据补充信息再判断属于哪一类。标签集由业务侧定义并根据运行中出现的误判持续调整。没有范围分类的前置检查智能体对所有问题一视同仁地启动生成范围外的问题得不到拦截。证据综合判断解决单一相关度阈值无法反映证据质量的问题。检索结果返回后系统从多个维度评估证据是否充分先对检索结果做重排把真正和问题匹配的片段排到前面再统计有效证据数量排除重复和近义片段后看还剩多少条独立支撑接着检查覆盖度看证据是否覆盖了问题涉及的各个子话题最后检测证据之间是否存在矛盾有冲突的结论不能直接用于生成。这四个维度是证据评估的输入而非机械的与门判定证据标准按问题类型和风险等级设定低风险常识性问题可能只需要一条当前有效的权威直接证据就足够回答高风险涉及企业事实或合规结论的问题则需要多维度交叉验证。只靠单一阈值的证据判断重排、数量、覆盖和冲突这些影响结论可靠性的因素全部被忽略。四类路由解决不同边界和证据状态下智能体该怎么回复的问题。范围内且证据充分的问题智能体正常生成回复并附上来源引用范围内但证据不足的问题智能体不硬凑回复而是告知用户当前资料不足以给出完整答复同时转入人工处理队列由对应业务人员跟进明显范围外的问题智能体不生成内容性回复返回拒答消息并引导用户到合适的渠道边界模糊的问题智能体先向用户澄清问题意图根据用户补充的信息再判断属于哪一类。四类路由的判断依据是范围分类结果和证据综合评估结果两个环节的输出决定问题走哪条路径。没有分类路由的处理机制智能体对所有问题走同一条生成路径无论在不在范围、证据够不够都一律生成回复。通用知识的使用需要严格限制。默认情况下证据不足或范围外的问题不允许智能体调用模型自身的通用知识来生成回复。只有在企业明确批准的低风险场景下例如通用常识类问题、不涉及企业内部事实的问题才允许智能体基于通用知识回答并且回复中不得包含企业事实和具体数字。企业事实和具体数字必须来自用户有权访问的企业授权数据源可以包括知识库、数据库、业务API或经批准的工具结果不能由模型凭通用知识补全。这一限制防止模型在没有证据支撑的情况下编造看似具体实则虚构的数据就像开篇那个被编造出百分比数字的产线良品率分析。输出前拦截解决生成内容已经越界但仍然被投递给用户的问题。智能体生成回复后在投递前经过一轮内容检查回复中是否出现了没有证据支撑的具体数字这些数字是否能在用户有权访问的授权数据源中找到来源回复中是否包含了超出当前能力域的企业内部事实回复中是否得出了范围外的结论比如人事智能体的回复里出现了生产数据的分析。拦截后按原因分流处理范围外内容直接拒答或引导用户到合适渠道证据不足的内容转人工处理或告知用户当前资料不足只有证据充分但表达方式偏离时才触发重新生成。没有输出前拦截即使前面的分类和证据判断环节有疏漏越界内容也会一路畅通地到达用户。这套机制的运行依赖几个前提能力域标签集和范围分类规则由开发团队和业务侧共同设计标签集需要根据实际运行中的误判案例持续维护证据综合判断中的重排模型、有效证据计数规则和冲突检测逻辑由开发团队实现覆盖度标准由业务侧定义四类路由中哪些场景允许通用知识回答、哪些场景必须转人工由企业根据风险等级审批决定输出前拦截的检查规则由开发团队和业务侧共同定义。能力边界识别和拒答降级是工程实现能力范围的划定、证据标准和通用知识使用授权由企业内部定义。在我看来智能体硬答范围外问题的根因不在模型该不该微调、提示词该写多细而在于系统有没有在生成之前和生成之后各设置一道检查。问题不分类就进生成证据判断只看一个阈值没有四类路由只有一条生成路径通用知识不受约束地补进回复生成完了不做输出拦截——这五个环节缺了任何一个智能体就会在不该回答的领域里编造内容。让智能体学会说这个问题我回答不了、这些数据我没有依据比让它学会回答更多问题更影响用户对它的信任。
