 为深度学习植入「可解释大脑」)
目录概念瓶颈的设计动机概念瓶颈模型CBM概念编码与干预概念瓶颈的训练与评估概念瓶颈的工程实现概念瓶颈的边界与失效模式摘要概念瓶颈模型Concept Bottleneck Model, CBM通过引入概念瓶颈层将模型决策过程分解为可解释的概念表示先预测概念再基于概念做出最终预测。本文从概念瓶颈的设计动机出发分析概念编码、概念干预以及 CBM 在可解释性中的应用。1. 概念瓶颈的设计动机传统端到端模型直接从输入预测输出中间表示不可解释。概念瓶颈模型通过引入概念瓶颈层强制模型先预测人类可理解的概念再基于概念做出最终预测使决策过程透明化。1.1 为什么需要概念瓶颈问题端到端模型概念瓶颈模型可解释性黑盒不可解释概念层可解释干预能力无法干预可干预概念调试能力难以调试可调试概念信任度低高1.2 概念瓶颈的核心思想概念瓶颈的核心思想是将模型决策分解为两个阶段先预测概念再基于概念预测输出。Input → Concept Predictor → Concepts → Task Predictor → Output \text{Input} \rightarrow \text{Concept Predictor} \rightarrow \text{Concepts} \rightarrow \text{Task Predictor} \rightarrow \text{Output}Input→Concept Predictor→Concepts→Task Predictor→Output输入概念预测器概念表示任务预测器输出可解释: 概念可干预: 修改概念1.3 概念瓶颈的历史演进概念瓶颈2017→ CBM2020→ 后验 CBM2021→ 标签 CBM2022→ 概念瓶颈在 LLM 中的应用2023。1.4 概念瓶颈的产业应用应用概念典型产品医疗诊断症状、体征辅助诊断自动驾驶物体、行人决策解释金融风控风险因素风险解释图像分类物体属性分类解释1.5 概念瓶颈的局限性概念瓶颈的局限性包括概念定义困难需要预定义概念集、概念覆盖不足概念集可能无法覆盖所有情况以及概念标注成本高需要人工标注概念。2. 概念瓶颈模型CBM2.1 CBM 的架构概念瓶颈模型CBM由三个部分组成概念预测器从输入预测概念、概念瓶颈层概念表示以及任务预测器基于概念预测输出。2.2 CBM 的实现classConceptBottleneckModel(nn.Module):概念瓶颈模型def__init__(self,input_dim,concept_dim,task_dim):super().__init__()# 概念预测器self.concept_predictornn.Sequential(nn.Linear(input_dim,512),nn.ReLU(),nn.Linear(512,concept_dim),nn.Sigmoid()# 概念概率)# 任务预测器self.task_predictornn.Linear(concept_dim,task_dim)defforward(self,x,concept_interventionNone):# 预测概念conceptsself.concept_predictor(x)# 概念干预可选ifconcept_interventionisnotNone:conceptsconcept_intervention(concepts)# 基于概念预测输出outputself.task_predictor(concepts)returnoutput,concepts2.3 CBM 的训练deftrain_cbm(model,dataloader,concept_weight0.5):训练概念瓶颈模型optimizertorch.optim.AdamW(model.parameters(),lr1e-3)forbatchindataloader:x,y,concepts_gtbatch# 前向传播output,concepts_predmodel(x)# 任务损失task_lossF.cross_entropy(output,y)# 概念损失concept_lossF.binary_cross_entropy(concepts_pred,concepts_gt)# 联合损失losstask_lossconcept_weight*concept_loss# 反向传播optimizer.zero_grad()loss.backward()optimizer.step()3. 概念编码与干预3.1 概念编码概念编码将输入映射为概念表示defconcept_encoding(model,x,concept_names):概念编码conceptsmodel.concept_predictor(x)concept_scores{name:score.item()forname,scoreinzip(concept_names,concepts[0])}returnconcept_scores3.2 概念干预defconcept_intervention(concepts,concept_idx,value):概念干预修改特定概念的值conceptsconcepts.clone()concepts[0,concept_idx]valuereturnconcepts3.3 概念干预的应用应用干预目标效果移除偏见将敏感概念置零消除偏见影响反事实解释修改概念值观察输出变化错误纠正修正错误概念提高准确率4. 概念瓶颈的训练与评估4.1 训练策略策略描述适用场景联合训练同时训练概念和任务预测器概念标注充足顺序训练先训练概念预测器再训练任务预测器概念标注有限独立训练概念预测器和任务预测器独立训练概念标注充足4.2 评估指标指标描述计算方法概念准确率概念预测的准确率概念预测与标注的匹配度任务准确率最终预测的准确率最终预测与真实标签的匹配度干预效果概念干预对输出的影响干预前后输出的变化4.3 概念评估defevaluate_concepts(model,dataloader,concept_names):评估概念预测质量concept_accuracies{name:[]fornameinconcept_names}forbatchindataloader:x,_,concepts_gtbatch _,concepts_predmodel(x)fori,nameinenumerate(concept_names):acc(concepts_pred[0,i].round()concepts_gt[0,i]).float().mean()concept_accuracies[name].append(acc.item())return{name:np.mean(accs)forname,accsinconcept_accuracies.items()}5. 概念瓶颈的工程实现5.1 概念定义# 医疗诊断概念定义MEDICAL_CONCEPTS[fever,cough,headache,fatigue,nausea,chest_pain,shortness_of_breath,muscle_ache]# 图像分类概念定义IMAGE_CONCEPTS[has_wings,has_feathers,has_beak,has_fur,has_tail,has_legs,color_red,color_blue]5.2 概念瓶颈的变体变体描述特点标准 CBM概念预测 任务预测简单后验 CBM使用后验概率近似更灵活标签 CBM使用标签作为概念无需概念标注概率 CBM使用概率概念更鲁棒5.3 概念瓶颈与 LLMclassLLMConceptBottleneck:LLM 概念瓶颈def__init__(self,llm,concept_definitions):self.llmllm self.concept_definitionsconcept_definitionsdefpredict_concepts(self,input_text):使用 LLM 预测概念promptf 请评估以下文本是否包含以下概念:{self.concept_definitions}文本:{input_text}请以 JSON 格式输出概念评分: {{concept_1: 0.8, concept_2: 0.3, ...}} responseself.llm.generate(prompt)returnjson.loads(response)defpredict_with_concepts(self,input_text,concepts):基于概念预测输出promptf 基于以下概念完成任务: 概念:{concepts}任务:{input_text}请输出: returnself.llm.generate(prompt)6. 概念瓶颈的边界与失效模式6.1 概念定义不完整问题表现解决方案概念遗漏重要概念未被定义迭代完善概念集概念冗余概念过多概念选择概念歧义概念定义不清晰明确概念定义6.2 概念预测不准确问题表现解决方案概念预测错误概念预测与标注不一致改进概念预测器概念置信度低概念预测不自信概率概念概念相关性概念间相关性强独立概念6.3 概念瓶颈的优缺点总结优点缺点可解释性强概念定义困难支持干预概念覆盖不足可调试标注成本高建立信任概念不完整7. 概念瓶颈的扩展应用7.1 医疗诊断概念对应症状诊断价值发热体温 38°C感染标志咳嗽干咳/湿咳呼吸道疾病头痛持续/阵发性神经系统疲劳持续性疲劳全身性疾病7.2 自动驾驶概念对应物体决策价值行人行人位置、速度停车决策车辆车辆位置、速度跟车决策交通灯灯颜色、状态通行决策标志标志类型、位置导航决策7.3 金融风控概念对应风险因素决策价值收入收入水平、稳定性还款能力负债负债率、期限还款压力信用历史逾期次数、时长信用评估资产资产类型、价值偿债能力8. 概念瓶颈在 LLM 中的应用8.1 概念瓶颈用于 LLM 对齐对齐目标概念干预方式安全性有害内容将有害概念置零公平性偏见内容将偏见概念置零真实性虚假内容将虚假概念置零8.2 概念瓶颈用于 LLM 解释概念瓶颈可以解释 LLM 生成特定回答的原因通过展示模型在生成过程中关注了哪些概念。8.3 概念瓶颈用于 LLM 调试概念瓶颈可以调试 LLM 的错误行为通过分析错误概念定位问题。9. 概念瓶颈的扩展应用9.1 在图像分类中的应用图像分类中概念瓶颈使用物体属性作为概念概念对应属性分类价值有翅膀鸟类特征区分鸟类和哺乳动物有羽毛鸟类特征区分鸟类和爬行动物有喙鸟类特征区分鸟类和哺乳动物有毛哺乳动物特征区分哺乳动物和鸟类defimage_concept_predictor(image,concept_names):图像概念预测# 使用预训练模型提取概念featuresimage_encoder(image)conceptsconcept_classifier(features)return{name:scoreforname,scoreinzip(concept_names,concepts[0])}9.2 在文本分类中的应用文本分类中概念瓶颈使用关键词作为概念概念对应关键词分类价值积极情感“好”、“优秀”、“喜欢”情感分类消极情感“差”、“糟糕”、“讨厌”情感分类体育“足球”、“篮球”、“比赛”主题分类科技“AI”、“编程”、“数据”主题分类9.3 概念瓶颈与反事实解释defcounterfactual_explanation(model,x,concept_names,target_concept,new_value):反事实解释修改概念观察输出变化# 原始预测original_output,original_conceptsmodel(x)# 干预概念intervened_conceptsconcept_intervention(original_concepts,target_concept,new_value)# 使用干预后的概念重新预测intervened_outputmodel.task_predictor(intervened_concepts)# 输出变化change(intervened_output-original_output).abs().item()return{original_output:original_output.item(),intervened_output:intervened_output.item(),change:change,intervened_concept:concept_names[target_concept],new_value:new_value}10. 概念瓶颈的评估10.1 评估指标指标描述计算方法概念准确率概念预测的准确率概念预测与标注的匹配度任务准确率最终预测的准确率最终预测与真实标签的匹配度干预效果概念干预对输出的影响干预前后输出的变化概念一致性概念预测的一致性多次预测的一致性10.2 概念质量评估defevaluate_concept_quality(concept_predictions,concept_ground_truth):评估概念预测质量# 准确率accuracy(concept_predictions.round()concept_ground_truth).float().mean()# 召回率recall(concept_predictions.round()*concept_ground_truth).sum()/\ concept_ground_truth.sum()# F1 分数precision(concept_predictions.round()*concept_ground_truth).sum()/\ concept_predictions.round().sum()f12*precision*recall/(precisionrecall1e-8)return{accuracy:accuracy,precision:precision,recall:recall,f1:f1}11. 概念瓶颈在工业界的实际案例11.1 医疗影像诊断应用概念价值肺部 X 光阴影、结节、浸润辅助诊断肺炎眼底检查出血、渗出、血管异常辅助诊断糖尿病视网膜病变皮肤镜颜色、形状、边界辅助诊断皮肤癌11.2 自动驾驶决策场景概念决策行人横穿行人位置、速度、方向停车/减速交通灯变化灯颜色、计时通行/等待车辆变道车辆位置、速度、转向灯让行/加速11.3 金融风控场景概念决策贷款审批收入、负债、信用历史批准/拒绝欺诈检测交易金额、频率、地点正常/可疑风险评估市场风险、信用风险、操作风险高风险/低风险12. 概念瓶颈的训练技巧技巧描述效果概念权重衰减在概念预测器上增加权重衰减防止过拟合概念 Dropout训练时随机丢弃概念提高鲁棒性概念增强对概念标签添加噪声提高泛化能力概念预训练先在概念数据集上预训练提高概念预测质量13. 概念瓶颈与 LLM 的结合概念瓶颈可以与 LLM 结合使用 LLM 生成概念描述或评估概念defllm_concept_bottleneck(llm,input_text,concept_list):LLM 概念瓶颈promptf 文本:{input_text}请评估以下概念在文本中的出现概率0-1:{concept_list}请以 JSON 格式输出: {{concept_1: 0.9, concept_2: 0.1, ...}} responsellm.generate(prompt)returnjson.loads(response)总结概念瓶颈模型通过引入可解释的概念瓶颈层将模型决策过程分解为概念预测和任务预测两个阶段。CBM 支持概念干预可以修改概念值观察输出变化实现反事实解释。概念瓶颈在医疗诊断、自动驾驶、金融风控中有重要应用。概念瓶颈的局限性包括概念定义困难、覆盖不足和标注成本高。在 LLM 中概念瓶颈可用于对齐、解释和调试。外部引用CBM 原始论文https://arxiv.org/abs/2007.04611概念瓶颈综述https://arxiv.org/abs/2303.04226后验 CBMhttps://arxiv.org/abs/2106.02815标签 CBMhttps://arxiv.org/abs/2207.05084概念干预https://arxiv.org/abs/2007.04611概念瓶颈在医疗中的应用https://arxiv.org/abs/2303.04226概念瓶颈在自动驾驶中的应用https://arxiv.org/abs/2303.04226概念瓶颈在 LLM 中的应用https://arxiv.org/abs/2303.04226概念定义方法https://arxiv.org/abs/2303.04226概念瓶颈评估https://arxiv.org/abs/2303.04226
目录概念瓶颈的设计动机概念瓶颈模型CBM概念编码与干预概念瓶颈的训练与评估概念瓶颈的工程实现概念瓶颈的边界与失效模式摘要概念瓶颈模型Concept Bottleneck Model, CBM通过引入概念瓶颈层将模型决策过程分解为可解释的概念表示先预测概念再基于概念做出最终预测。本文从概念瓶颈的设计动机出发分析概念编码、概念干预以及 CBM 在可解释性中的应用。1. 概念瓶颈的设计动机传统端到端模型直接从输入预测输出中间表示不可解释。概念瓶颈模型通过引入概念瓶颈层强制模型先预测人类可理解的概念再基于概念做出最终预测使决策过程透明化。1.1 为什么需要概念瓶颈问题端到端模型概念瓶颈模型可解释性黑盒不可解释概念层可解释干预能力无法干预可干预概念调试能力难以调试可调试概念信任度低高1.2 概念瓶颈的核心思想概念瓶颈的核心思想是将模型决策分解为两个阶段先预测概念再基于概念预测输出。Input → Concept Predictor → Concepts → Task Predictor → Output \text{Input} \rightarrow \text{Concept Predictor} \rightarrow \text{Concepts} \rightarrow \text{Task Predictor} \rightarrow \text{Output}Input→Concept Predictor→Concepts→Task Predictor→Output输入概念预测器概念表示任务预测器输出可解释: 概念可干预: 修改概念1.3 概念瓶颈的历史演进概念瓶颈2017→ CBM2020→ 后验 CBM2021→ 标签 CBM2022→ 概念瓶颈在 LLM 中的应用2023。1.4 概念瓶颈的产业应用应用概念典型产品医疗诊断症状、体征辅助诊断自动驾驶物体、行人决策解释金融风控风险因素风险解释图像分类物体属性分类解释1.5 概念瓶颈的局限性概念瓶颈的局限性包括概念定义困难需要预定义概念集、概念覆盖不足概念集可能无法覆盖所有情况以及概念标注成本高需要人工标注概念。2. 概念瓶颈模型CBM2.1 CBM 的架构概念瓶颈模型CBM由三个部分组成概念预测器从输入预测概念、概念瓶颈层概念表示以及任务预测器基于概念预测输出。2.2 CBM 的实现classConceptBottleneckModel(nn.Module):概念瓶颈模型def__init__(self,input_dim,concept_dim,task_dim):super().__init__()# 概念预测器self.concept_predictornn.Sequential(nn.Linear(input_dim,512),nn.ReLU(),nn.Linear(512,concept_dim),nn.Sigmoid()# 概念概率)# 任务预测器self.task_predictornn.Linear(concept_dim,task_dim)defforward(self,x,concept_interventionNone):# 预测概念conceptsself.concept_predictor(x)# 概念干预可选ifconcept_interventionisnotNone:conceptsconcept_intervention(concepts)# 基于概念预测输出outputself.task_predictor(concepts)returnoutput,concepts2.3 CBM 的训练deftrain_cbm(model,dataloader,concept_weight0.5):训练概念瓶颈模型optimizertorch.optim.AdamW(model.parameters(),lr1e-3)forbatchindataloader:x,y,concepts_gtbatch# 前向传播output,concepts_predmodel(x)# 任务损失task_lossF.cross_entropy(output,y)# 概念损失concept_lossF.binary_cross_entropy(concepts_pred,concepts_gt)# 联合损失losstask_lossconcept_weight*concept_loss# 反向传播optimizer.zero_grad()loss.backward()optimizer.step()3. 概念编码与干预3.1 概念编码概念编码将输入映射为概念表示defconcept_encoding(model,x,concept_names):概念编码conceptsmodel.concept_predictor(x)concept_scores{name:score.item()forname,scoreinzip(concept_names,concepts[0])}returnconcept_scores3.2 概念干预defconcept_intervention(concepts,concept_idx,value):概念干预修改特定概念的值conceptsconcepts.clone()concepts[0,concept_idx]valuereturnconcepts3.3 概念干预的应用应用干预目标效果移除偏见将敏感概念置零消除偏见影响反事实解释修改概念值观察输出变化错误纠正修正错误概念提高准确率4. 概念瓶颈的训练与评估4.1 训练策略策略描述适用场景联合训练同时训练概念和任务预测器概念标注充足顺序训练先训练概念预测器再训练任务预测器概念标注有限独立训练概念预测器和任务预测器独立训练概念标注充足4.2 评估指标指标描述计算方法概念准确率概念预测的准确率概念预测与标注的匹配度任务准确率最终预测的准确率最终预测与真实标签的匹配度干预效果概念干预对输出的影响干预前后输出的变化4.3 概念评估defevaluate_concepts(model,dataloader,concept_names):评估概念预测质量concept_accuracies{name:[]fornameinconcept_names}forbatchindataloader:x,_,concepts_gtbatch _,concepts_predmodel(x)fori,nameinenumerate(concept_names):acc(concepts_pred[0,i].round()concepts_gt[0,i]).float().mean()concept_accuracies[name].append(acc.item())return{name:np.mean(accs)forname,accsinconcept_accuracies.items()}5. 概念瓶颈的工程实现5.1 概念定义# 医疗诊断概念定义MEDICAL_CONCEPTS[fever,cough,headache,fatigue,nausea,chest_pain,shortness_of_breath,muscle_ache]# 图像分类概念定义IMAGE_CONCEPTS[has_wings,has_feathers,has_beak,has_fur,has_tail,has_legs,color_red,color_blue]5.2 概念瓶颈的变体变体描述特点标准 CBM概念预测 任务预测简单后验 CBM使用后验概率近似更灵活标签 CBM使用标签作为概念无需概念标注概率 CBM使用概率概念更鲁棒5.3 概念瓶颈与 LLMclassLLMConceptBottleneck:LLM 概念瓶颈def__init__(self,llm,concept_definitions):self.llmllm self.concept_definitionsconcept_definitionsdefpredict_concepts(self,input_text):使用 LLM 预测概念promptf 请评估以下文本是否包含以下概念:{self.concept_definitions}文本:{input_text}请以 JSON 格式输出概念评分: {{concept_1: 0.8, concept_2: 0.3, ...}} responseself.llm.generate(prompt)returnjson.loads(response)defpredict_with_concepts(self,input_text,concepts):基于概念预测输出promptf 基于以下概念完成任务: 概念:{concepts}任务:{input_text}请输出: returnself.llm.generate(prompt)6. 概念瓶颈的边界与失效模式6.1 概念定义不完整问题表现解决方案概念遗漏重要概念未被定义迭代完善概念集概念冗余概念过多概念选择概念歧义概念定义不清晰明确概念定义6.2 概念预测不准确问题表现解决方案概念预测错误概念预测与标注不一致改进概念预测器概念置信度低概念预测不自信概率概念概念相关性概念间相关性强独立概念6.3 概念瓶颈的优缺点总结优点缺点可解释性强概念定义困难支持干预概念覆盖不足可调试标注成本高建立信任概念不完整7. 概念瓶颈的扩展应用7.1 医疗诊断概念对应症状诊断价值发热体温 38°C感染标志咳嗽干咳/湿咳呼吸道疾病头痛持续/阵发性神经系统疲劳持续性疲劳全身性疾病7.2 自动驾驶概念对应物体决策价值行人行人位置、速度停车决策车辆车辆位置、速度跟车决策交通灯灯颜色、状态通行决策标志标志类型、位置导航决策7.3 金融风控概念对应风险因素决策价值收入收入水平、稳定性还款能力负债负债率、期限还款压力信用历史逾期次数、时长信用评估资产资产类型、价值偿债能力8. 概念瓶颈在 LLM 中的应用8.1 概念瓶颈用于 LLM 对齐对齐目标概念干预方式安全性有害内容将有害概念置零公平性偏见内容将偏见概念置零真实性虚假内容将虚假概念置零8.2 概念瓶颈用于 LLM 解释概念瓶颈可以解释 LLM 生成特定回答的原因通过展示模型在生成过程中关注了哪些概念。8.3 概念瓶颈用于 LLM 调试概念瓶颈可以调试 LLM 的错误行为通过分析错误概念定位问题。9. 概念瓶颈的扩展应用9.1 在图像分类中的应用图像分类中概念瓶颈使用物体属性作为概念概念对应属性分类价值有翅膀鸟类特征区分鸟类和哺乳动物有羽毛鸟类特征区分鸟类和爬行动物有喙鸟类特征区分鸟类和哺乳动物有毛哺乳动物特征区分哺乳动物和鸟类defimage_concept_predictor(image,concept_names):图像概念预测# 使用预训练模型提取概念featuresimage_encoder(image)conceptsconcept_classifier(features)return{name:scoreforname,scoreinzip(concept_names,concepts[0])}9.2 在文本分类中的应用文本分类中概念瓶颈使用关键词作为概念概念对应关键词分类价值积极情感“好”、“优秀”、“喜欢”情感分类消极情感“差”、“糟糕”、“讨厌”情感分类体育“足球”、“篮球”、“比赛”主题分类科技“AI”、“编程”、“数据”主题分类9.3 概念瓶颈与反事实解释defcounterfactual_explanation(model,x,concept_names,target_concept,new_value):反事实解释修改概念观察输出变化# 原始预测original_output,original_conceptsmodel(x)# 干预概念intervened_conceptsconcept_intervention(original_concepts,target_concept,new_value)# 使用干预后的概念重新预测intervened_outputmodel.task_predictor(intervened_concepts)# 输出变化change(intervened_output-original_output).abs().item()return{original_output:original_output.item(),intervened_output:intervened_output.item(),change:change,intervened_concept:concept_names[target_concept],new_value:new_value}10. 概念瓶颈的评估10.1 评估指标指标描述计算方法概念准确率概念预测的准确率概念预测与标注的匹配度任务准确率最终预测的准确率最终预测与真实标签的匹配度干预效果概念干预对输出的影响干预前后输出的变化概念一致性概念预测的一致性多次预测的一致性10.2 概念质量评估defevaluate_concept_quality(concept_predictions,concept_ground_truth):评估概念预测质量# 准确率accuracy(concept_predictions.round()concept_ground_truth).float().mean()# 召回率recall(concept_predictions.round()*concept_ground_truth).sum()/\ concept_ground_truth.sum()# F1 分数precision(concept_predictions.round()*concept_ground_truth).sum()/\ concept_predictions.round().sum()f12*precision*recall/(precisionrecall1e-8)return{accuracy:accuracy,precision:precision,recall:recall,f1:f1}11. 概念瓶颈在工业界的实际案例11.1 医疗影像诊断应用概念价值肺部 X 光阴影、结节、浸润辅助诊断肺炎眼底检查出血、渗出、血管异常辅助诊断糖尿病视网膜病变皮肤镜颜色、形状、边界辅助诊断皮肤癌11.2 自动驾驶决策场景概念决策行人横穿行人位置、速度、方向停车/减速交通灯变化灯颜色、计时通行/等待车辆变道车辆位置、速度、转向灯让行/加速11.3 金融风控场景概念决策贷款审批收入、负债、信用历史批准/拒绝欺诈检测交易金额、频率、地点正常/可疑风险评估市场风险、信用风险、操作风险高风险/低风险12. 概念瓶颈的训练技巧技巧描述效果概念权重衰减在概念预测器上增加权重衰减防止过拟合概念 Dropout训练时随机丢弃概念提高鲁棒性概念增强对概念标签添加噪声提高泛化能力概念预训练先在概念数据集上预训练提高概念预测质量13. 概念瓶颈与 LLM 的结合概念瓶颈可以与 LLM 结合使用 LLM 生成概念描述或评估概念defllm_concept_bottleneck(llm,input_text,concept_list):LLM 概念瓶颈promptf 文本:{input_text}请评估以下概念在文本中的出现概率0-1:{concept_list}请以 JSON 格式输出: {{concept_1: 0.9, concept_2: 0.1, ...}} responsellm.generate(prompt)returnjson.loads(response)总结概念瓶颈模型通过引入可解释的概念瓶颈层将模型决策过程分解为概念预测和任务预测两个阶段。CBM 支持概念干预可以修改概念值观察输出变化实现反事实解释。概念瓶颈在医疗诊断、自动驾驶、金融风控中有重要应用。概念瓶颈的局限性包括概念定义困难、覆盖不足和标注成本高。在 LLM 中概念瓶颈可用于对齐、解释和调试。外部引用CBM 原始论文https://arxiv.org/abs/2007.04611概念瓶颈综述https://arxiv.org/abs/2303.04226后验 CBMhttps://arxiv.org/abs/2106.02815标签 CBMhttps://arxiv.org/abs/2207.05084概念干预https://arxiv.org/abs/2007.04611概念瓶颈在医疗中的应用https://arxiv.org/abs/2303.04226概念瓶颈在自动驾驶中的应用https://arxiv.org/abs/2303.04226概念瓶颈在 LLM 中的应用https://arxiv.org/abs/2303.04226概念定义方法https://arxiv.org/abs/2303.04226概念瓶颈评估https://arxiv.org/abs/2303.04226
