1. 项目概述从“分类”到“聚类”的认知跃迁刚入行做数据分析那会儿我经常被“分类”和“聚类”这两个词绕晕。客户说“帮我分个类”我兴冲冲地跑去做有监督的分类模型结果发现数据压根没标签白忙活一场。后来才明白很多时候他们口中的“分类”其实指的是“聚类”——一种在没有先验知识的情况下让数据自己“物以类聚”的方法。今天要聊的“聚类分析”就是数据挖掘和探索性分析中一把极其锋利的瑞士军刀。它不告诉你答案是什么而是帮你从一团乱麻的数据中发现内在的结构和模式。简单来说聚类分析的目标就是把一组数据对象按照它们内在的相似性自动划分成若干个簇Cluster使得同一个簇内的对象彼此相似而不同簇的对象相异。这听起来有点像“物以类聚人以群分”的数学实现。它的应用场景无处不在在电商领域可以根据用户的浏览、购买行为进行客户分群实现精细化运营在生物信息学中可以对基因表达数据进行聚类发现功能相似的基因在图像处理中可以对像素颜色进行聚类来实现图像分割。甚至在整理你杂乱无章的电脑文件时潜意识里也在进行某种聚类操作。为什么我要把这个系列命名为“零”呢因为市面上太多教程一上来就扔给你K-Means的公式和代码告诉你调这个包、用那个函数却很少系统性地讲清楚我们到底在解决一个什么问题面对具体场景该如何从头开始思考并选择合适的方法有哪些“坑”是只有踩过才知道的这个“零”篇就是希望充当那个“地图”和“指南针”帮你建立对聚类分析的整体认知框架理解其核心思想、主要流派和关键挑战为后续深入每一个具体算法打下坚实的基础。无论你是刚接触数据分析的学生还是需要快速应用聚类解决业务问题的从业者理清这些底层逻辑都至关重要。2. 聚类分析的核心思想与关键挑战2.1 相似性度量聚类的基石聚类的核心是“相似性”。如果无法量化两个数据点是否相似聚类就无从谈起。这就引出了“距离”或“相似性度量”这个概念。不同的度量方式会直接导致完全不同的聚类结果。最常用的是欧氏距离也就是我们中学学的两点间直线距离。它在连续数值型数据上表现直观但受量纲影响巨大。想象一下一个特征是以“万元”为单位的销售额另一个特征是以“个”为单位的购买次数如果不进行标准化处理销售额的微小波动就会完全主导距离的计算购买次数这个特征就相当于失效了。所以数据标准化如Z-score标准化、Min-Max归一化几乎是聚类分析前必须的预处理步骤。对于非数值型数据比如文本我们常用余弦相似度。它关注的是两个向量在方向上的差异而非绝对距离。在文档聚类中两篇文档即使长度相差很大只要主题词分布相似它们的余弦相似度也会很高。此外还有用于分类数据的杰卡德距离用于序列数据的编辑距离等。选择哪种度量完全取决于你的数据特性和业务目标。一个基本原则是你选择的距离度量应该能反映你业务上关心的“差异性”。如果你关心的是顾客购买商品的品类重叠度杰卡德距离可能比欧氏距离更合适。注意没有“最好”的距离度量只有“最合适”的。在应用任何聚类算法前花时间思考并测试不同的距离度量对结果的影响是避免得出荒谬结论的关键一步。2.2 聚类算法的三大流派根据如何定义“簇”以及如何寻找簇主流的聚类算法可以归为以下几类2.2.1 基于划分的方法最著名的代表就是K-Means及其变种如K-Medoids。它的思想简单粗暴事先指定要分成K个簇然后通过迭代优化让每个点到其所属簇中心的距离平方和最小。它的优点是高效、可扩展适合处理大数据集。但缺点也很明显必须预先指定K值对初始簇中心敏感只能发现球状簇对非凸形状如月牙形、环形的数据集束手无策对噪声和离群点非常敏感。2.2.2 基于层次的方法这种方法不需要预先指定簇的数目它会构建一个树状的聚类结构树状图。分为两种策略凝聚的自底向上开始时将每个点视为一个簇然后逐步合并最相似的两个簇直到所有点合并为一簇。分裂的自顶向下开始时将所有点视为一簇然后逐步分裂为更小的簇。层次聚类的优点是可以得到簇的层次关系通过树状图可以直观地选择任意层次的分割即选择K值。缺点是计算复杂度高通常为O(n³)不适合大数据集而且一旦一个点被分配到一个簇在后续过程中就无法再调整可能产生错误的累积。2.2.3 基于密度的方法这类方法的代表是DBSCAN。它不假设簇是球状的而是认为簇是数据空间中密集的区域被低密度区域噪声分隔。它定义簇为密度相连的点的最大集合。DBSCAN的优点非常突出不需要预先指定K值能发现任意形状的簇对噪声不敏感能有效识别离群点。但它的效果高度依赖于两个参数邻域半径Eps和最小点数MinPts参数选择不当会导致结果天差地别对于密度差异大的数据集参数难以统一设置。除了以上三大类还有基于网格的方法将数据空间划分为网格单元进行处理速度快、基于模型的方法假设数据是由潜在的统计模型混合生成如高斯混合模型GMM等。近年来自组织神经网络SOM作为一种结合了神经网络和聚类思想的方法也备受关注。它通过竞争学习将高维数据映射到低维通常是二维的离散网格上同时保持数据的拓扑结构结果非常直观常用于数据可视化探索。2.3 聚类分析的主要挑战聚类是一个“非监督”过程没有标准答案这使得评估和解释结果充满挑战。K值选择难题对于需要指定簇数的算法如K-Means如何确定最佳的K常用的方法有肘部法则看误差平方和随K变化的拐点、轮廓系数衡量簇内紧密度和簇间分离度、Gap Statistic等。但所有这些方法都只是参考最终的K值往往需要结合业务理解来确定。数据预处理与特征工程聚类结果对数据的尺度、分布、缺失值异常敏感。如何清洗数据、处理缺失值、进行特征选择和降维如PCA是决定成败的前置环节。结果评估与解释聚类质量没有唯一的黄金标准。内部评估指标如轮廓系数、戴维森堡丁指数依赖于距离计算外部评估指标如调整兰德指数、互信息需要有真实标签而这在无监督学习中通常无法获得。因此聚类结果的解释必须紧密结合业务场景。分出来的簇有什么实际意义能否为决策提供洞察这是聚类分析价值实现的最终环节。高维灾难在极高维空间中所有点之间的距离都变得趋于相似这使得基于距离的聚类方法失效。降维技术或适用于高维数据的聚类算法如基于子空间的聚类是必要的。3. 实战流程从数据到洞察的完整闭环理解了核心思想后我们来看一个标准的聚类分析项目应该如何一步步推进。这个过程远比单纯调用一个sklearn.cluster.KMeans要复杂和重要。3.1 第一步问题定义与数据理解这是最容易被忽略却最关键的一步。在动手之前必须明确业务目标我们为什么要做聚类是为了客户细分、异常检测、还是简化数据结构不同的目标直接影响后续方法的选择和评估标准。数据审视我有什么数据是数值型、分类型还是混合型有多少样本和特征是否存在大量的缺失值和异常值数据的分布如何特征含义每一个特征代表什么业务含义哪些特征是相关的哪些可能是冗余的例如如果你的目标是“识别具有相似购买行为的客户群以进行精准营销”那么你的特征就应该围绕客户的“人” demographics、“货”购买商品属性、“场”购买渠道、时间、“钱”消费金额、频率来构建。3.2 第二步数据预处理与特征工程这是将原始数据转化为适合聚类分析格式的环节通常耗时最长。缺失值处理对于聚类简单的删除法可能导致信息损失。常用的方法有中位数/众数填充、使用模型预测填充如KNN或者使用像自组织神经网络SOM这类对缺失值有一定鲁棒性的算法。SOM通过竞争学习可以仅基于存在的特征值来调整神经元权重从而间接处理缺失值这是它的一个独特优势。异常值处理基于距离的聚类如K-Means对异常值极其敏感。一个远离群体的点可能会扭曲整个簇中心的位置。需要利用箱线图、Z-score等方法识别并处理异常值或直接选用对异常值鲁棒的算法如K-Medoids、DBSCAN。数据标准化/归一化如前所述这是必须的步骤。Z-score标准化特征均值为0标准差为1是最常用的方法。特征选择与降维如果特征过多且存在共线性会导致“维度灾难”并增加计算负担。可以使用主成分分析PCA或t-SNE等降维技术在保留大部分信息的同时降低维度还能方便可视化。但要注意降维后的特征失去了原始业务含义解释结果时需要回溯。3.3 第三步算法选择与实施基于对数据和问题的理解选择合适的算法簇。数据量小探索性分析想观察层次关系- 尝试层次聚类。数据量大需要快速得到球形簇且能预估簇数- K-Means是首选。数据形状未知可能有噪声不想指定K值- 优先尝试DBSCAN。数据高维同时希望可视化拓扑结构- 自组织神经网络SOM是一个很好的选择。数据有混合类型数值分类- 需要使用能处理混合距离的算法如K-Prototypes或对分类变量进行特殊编码。在实际操作中我强烈建议不要只尝试一种算法。可以先用K-Means和DBSCAN跑一个基线用PCA或t-SNE将结果可视化到二维平面观察看看数据大概是什么形状有哪些明显的聚集点。这个探索过程本身就能提供大量洞察。3.4 第四步模型评估与调优对于划分式聚类使用肘部法则和轮廓系数来辅助选择K值。肘部法则看的是误差平方和SSE下降的拐点轮廓系数在-1到1之间越接近1表示聚类效果越好。可以绘制不同K值下的轮廓系数图来比较。对于DBSCAN参数Eps, MinPts的选择更为棘手。一个实用的方法是使用k-距离图。对每个点计算它到第k个最近邻的距离然后对所有点按距离排序后绘图。图中“拐点”对应的距离可以作为Eps的参考值MinPts通常从k开始尝试。实操心得所有指标都只是参考。最终一定要结合业务常识来判断。比如你通过指标选出了K5但分出来的5个簇中有2个簇的业务特征极其相似难以区分和运营那么K4可能才是业务上更优的选择。聚类是工具业务才是目的。3.5 第五步结果解释与落地应用这是产生价值的最后一步。给每个簇打上“标签”。刻画簇特征计算每个簇在所有特征上的中心值均值或众数与整体平均值进行对比。找出哪些特征在该簇上显著高于或低于平均水平。可视化使用雷达图、条形图对比不同簇的特征剖面一目了然。业务命名根据特征给每个簇起一个业务上易懂的名字。例如“高价值活跃用户”、“低频促销敏感用户”、“流失风险用户”等。制定策略针对不同的用户群设计差异化的产品、营销或服务策略。这才是聚类分析的闭环。4. 高级话题与常见陷阱4.1 自组织神经网络SOM在聚类中的应用SOM是一种无监督神经网络它通过将高维数据映射到一个低维通常是二维的离散网格上来保持数据的拓扑结构。每个网格节点有一个权重向量。学习过程中对于每个输入数据找到与之最匹配的节点获胜神经元并更新该节点及其邻居节点的权重使其更接近输入数据。在聚类中SOM可以作为一个强大的预处理和可视化工具。首先用SOM将数据映射到二维网格上相似的数据点会激活地图上相邻的神经元。然后你可以对SOM的神经元权重本身进行聚类比如再用K-Means对权重向量聚类或者直接根据数据点在SOM上的位置来划分簇。它的优势在于可视化直观可以直接看到高维数据在二维平面上的投影和聚类结构。对缺失数据有一定鲁棒性训练时可以仅基于存在的特征更新权重。揭示拓扑关系地图上相邻的神经元代表相似的模式。但它也有缺点训练过程相对较慢网络结构网格大小、形状需要预设解释最终聚类结果时需要理解SOM的输出。4.2 混合型数据的聚类挑战现实中的数据往往是混合的既有年龄、收入这样的数值特征又有性别、职业这样的分类特征。直接计算欧氏距离没有意义。常见的处理思路有将分类变量转换为数值变量使用独热编码One-Hot Encoding。但这样会极大增加维度且可能使数值特征的重要性被稀释。使用能处理混合距离的算法例如K-Prototypes算法它是K-Means的扩展在计算距离时对数值特征使用欧氏距离对分类特征使用汉明距离相异为1相同为0并将两者通过一个权重系数γ结合。如何设置γ是一个关键问题。分别聚类再整合先对数值特征和分类特征分别进行聚类然后再整合结果但方法较为复杂。4.3 聚类分析中的典型陷阱盲目相信算法结果聚类算法总会给你一个结果即使数据本身根本没有明显的簇结构。一定要用统计方法如霍普金斯统计量先检验数据的可聚类性并通过可视化初步判断。忽略量纲效应不做标准化就直接聚类是新手最常见的错误会导致结果完全由量纲大的特征主导。过度解读将算法输出的簇强行赋予复杂的故事。有时候数据中的自然分组可能就是随机的或者由某个你未考虑到的无关变量导致。保持怀疑交叉验证。“黑箱”操作只关心最终分了几类不关心每个类的具体特征和形成原因。没有业务解释的聚类是毫无价值的。静态视角客户行为、市场环境是变化的。一次聚类的结果不是一劳永逸的需要定期更新模型监控簇的稳定性和演变趋势。聚类分析是一门艺术更是一门科学。它需要你对数据有敏锐的直觉对业务有深刻的理解对算法有清晰的认知并在三者之间不断权衡和迭代。这个“零”篇希望能为你推开这扇门建立起一个稳固的思维框架。在接下来的系列中我们将深入每一个具体的算法拆解其数学原理手把手进行代码实战并分享更多我在实际项目中积累的“血泪”经验。当你下次再面对一堆没有标签的数据时希望你能从容地拿起聚类分析这把工具让数据自己开口说话。
1. 项目概述从“分类”到“聚类”的认知跃迁刚入行做数据分析那会儿我经常被“分类”和“聚类”这两个词绕晕。客户说“帮我分个类”我兴冲冲地跑去做有监督的分类模型结果发现数据压根没标签白忙活一场。后来才明白很多时候他们口中的“分类”其实指的是“聚类”——一种在没有先验知识的情况下让数据自己“物以类聚”的方法。今天要聊的“聚类分析”就是数据挖掘和探索性分析中一把极其锋利的瑞士军刀。它不告诉你答案是什么而是帮你从一团乱麻的数据中发现内在的结构和模式。简单来说聚类分析的目标就是把一组数据对象按照它们内在的相似性自动划分成若干个簇Cluster使得同一个簇内的对象彼此相似而不同簇的对象相异。这听起来有点像“物以类聚人以群分”的数学实现。它的应用场景无处不在在电商领域可以根据用户的浏览、购买行为进行客户分群实现精细化运营在生物信息学中可以对基因表达数据进行聚类发现功能相似的基因在图像处理中可以对像素颜色进行聚类来实现图像分割。甚至在整理你杂乱无章的电脑文件时潜意识里也在进行某种聚类操作。为什么我要把这个系列命名为“零”呢因为市面上太多教程一上来就扔给你K-Means的公式和代码告诉你调这个包、用那个函数却很少系统性地讲清楚我们到底在解决一个什么问题面对具体场景该如何从头开始思考并选择合适的方法有哪些“坑”是只有踩过才知道的这个“零”篇就是希望充当那个“地图”和“指南针”帮你建立对聚类分析的整体认知框架理解其核心思想、主要流派和关键挑战为后续深入每一个具体算法打下坚实的基础。无论你是刚接触数据分析的学生还是需要快速应用聚类解决业务问题的从业者理清这些底层逻辑都至关重要。2. 聚类分析的核心思想与关键挑战2.1 相似性度量聚类的基石聚类的核心是“相似性”。如果无法量化两个数据点是否相似聚类就无从谈起。这就引出了“距离”或“相似性度量”这个概念。不同的度量方式会直接导致完全不同的聚类结果。最常用的是欧氏距离也就是我们中学学的两点间直线距离。它在连续数值型数据上表现直观但受量纲影响巨大。想象一下一个特征是以“万元”为单位的销售额另一个特征是以“个”为单位的购买次数如果不进行标准化处理销售额的微小波动就会完全主导距离的计算购买次数这个特征就相当于失效了。所以数据标准化如Z-score标准化、Min-Max归一化几乎是聚类分析前必须的预处理步骤。对于非数值型数据比如文本我们常用余弦相似度。它关注的是两个向量在方向上的差异而非绝对距离。在文档聚类中两篇文档即使长度相差很大只要主题词分布相似它们的余弦相似度也会很高。此外还有用于分类数据的杰卡德距离用于序列数据的编辑距离等。选择哪种度量完全取决于你的数据特性和业务目标。一个基本原则是你选择的距离度量应该能反映你业务上关心的“差异性”。如果你关心的是顾客购买商品的品类重叠度杰卡德距离可能比欧氏距离更合适。注意没有“最好”的距离度量只有“最合适”的。在应用任何聚类算法前花时间思考并测试不同的距离度量对结果的影响是避免得出荒谬结论的关键一步。2.2 聚类算法的三大流派根据如何定义“簇”以及如何寻找簇主流的聚类算法可以归为以下几类2.2.1 基于划分的方法最著名的代表就是K-Means及其变种如K-Medoids。它的思想简单粗暴事先指定要分成K个簇然后通过迭代优化让每个点到其所属簇中心的距离平方和最小。它的优点是高效、可扩展适合处理大数据集。但缺点也很明显必须预先指定K值对初始簇中心敏感只能发现球状簇对非凸形状如月牙形、环形的数据集束手无策对噪声和离群点非常敏感。2.2.2 基于层次的方法这种方法不需要预先指定簇的数目它会构建一个树状的聚类结构树状图。分为两种策略凝聚的自底向上开始时将每个点视为一个簇然后逐步合并最相似的两个簇直到所有点合并为一簇。分裂的自顶向下开始时将所有点视为一簇然后逐步分裂为更小的簇。层次聚类的优点是可以得到簇的层次关系通过树状图可以直观地选择任意层次的分割即选择K值。缺点是计算复杂度高通常为O(n³)不适合大数据集而且一旦一个点被分配到一个簇在后续过程中就无法再调整可能产生错误的累积。2.2.3 基于密度的方法这类方法的代表是DBSCAN。它不假设簇是球状的而是认为簇是数据空间中密集的区域被低密度区域噪声分隔。它定义簇为密度相连的点的最大集合。DBSCAN的优点非常突出不需要预先指定K值能发现任意形状的簇对噪声不敏感能有效识别离群点。但它的效果高度依赖于两个参数邻域半径Eps和最小点数MinPts参数选择不当会导致结果天差地别对于密度差异大的数据集参数难以统一设置。除了以上三大类还有基于网格的方法将数据空间划分为网格单元进行处理速度快、基于模型的方法假设数据是由潜在的统计模型混合生成如高斯混合模型GMM等。近年来自组织神经网络SOM作为一种结合了神经网络和聚类思想的方法也备受关注。它通过竞争学习将高维数据映射到低维通常是二维的离散网格上同时保持数据的拓扑结构结果非常直观常用于数据可视化探索。2.3 聚类分析的主要挑战聚类是一个“非监督”过程没有标准答案这使得评估和解释结果充满挑战。K值选择难题对于需要指定簇数的算法如K-Means如何确定最佳的K常用的方法有肘部法则看误差平方和随K变化的拐点、轮廓系数衡量簇内紧密度和簇间分离度、Gap Statistic等。但所有这些方法都只是参考最终的K值往往需要结合业务理解来确定。数据预处理与特征工程聚类结果对数据的尺度、分布、缺失值异常敏感。如何清洗数据、处理缺失值、进行特征选择和降维如PCA是决定成败的前置环节。结果评估与解释聚类质量没有唯一的黄金标准。内部评估指标如轮廓系数、戴维森堡丁指数依赖于距离计算外部评估指标如调整兰德指数、互信息需要有真实标签而这在无监督学习中通常无法获得。因此聚类结果的解释必须紧密结合业务场景。分出来的簇有什么实际意义能否为决策提供洞察这是聚类分析价值实现的最终环节。高维灾难在极高维空间中所有点之间的距离都变得趋于相似这使得基于距离的聚类方法失效。降维技术或适用于高维数据的聚类算法如基于子空间的聚类是必要的。3. 实战流程从数据到洞察的完整闭环理解了核心思想后我们来看一个标准的聚类分析项目应该如何一步步推进。这个过程远比单纯调用一个sklearn.cluster.KMeans要复杂和重要。3.1 第一步问题定义与数据理解这是最容易被忽略却最关键的一步。在动手之前必须明确业务目标我们为什么要做聚类是为了客户细分、异常检测、还是简化数据结构不同的目标直接影响后续方法的选择和评估标准。数据审视我有什么数据是数值型、分类型还是混合型有多少样本和特征是否存在大量的缺失值和异常值数据的分布如何特征含义每一个特征代表什么业务含义哪些特征是相关的哪些可能是冗余的例如如果你的目标是“识别具有相似购买行为的客户群以进行精准营销”那么你的特征就应该围绕客户的“人” demographics、“货”购买商品属性、“场”购买渠道、时间、“钱”消费金额、频率来构建。3.2 第二步数据预处理与特征工程这是将原始数据转化为适合聚类分析格式的环节通常耗时最长。缺失值处理对于聚类简单的删除法可能导致信息损失。常用的方法有中位数/众数填充、使用模型预测填充如KNN或者使用像自组织神经网络SOM这类对缺失值有一定鲁棒性的算法。SOM通过竞争学习可以仅基于存在的特征值来调整神经元权重从而间接处理缺失值这是它的一个独特优势。异常值处理基于距离的聚类如K-Means对异常值极其敏感。一个远离群体的点可能会扭曲整个簇中心的位置。需要利用箱线图、Z-score等方法识别并处理异常值或直接选用对异常值鲁棒的算法如K-Medoids、DBSCAN。数据标准化/归一化如前所述这是必须的步骤。Z-score标准化特征均值为0标准差为1是最常用的方法。特征选择与降维如果特征过多且存在共线性会导致“维度灾难”并增加计算负担。可以使用主成分分析PCA或t-SNE等降维技术在保留大部分信息的同时降低维度还能方便可视化。但要注意降维后的特征失去了原始业务含义解释结果时需要回溯。3.3 第三步算法选择与实施基于对数据和问题的理解选择合适的算法簇。数据量小探索性分析想观察层次关系- 尝试层次聚类。数据量大需要快速得到球形簇且能预估簇数- K-Means是首选。数据形状未知可能有噪声不想指定K值- 优先尝试DBSCAN。数据高维同时希望可视化拓扑结构- 自组织神经网络SOM是一个很好的选择。数据有混合类型数值分类- 需要使用能处理混合距离的算法如K-Prototypes或对分类变量进行特殊编码。在实际操作中我强烈建议不要只尝试一种算法。可以先用K-Means和DBSCAN跑一个基线用PCA或t-SNE将结果可视化到二维平面观察看看数据大概是什么形状有哪些明显的聚集点。这个探索过程本身就能提供大量洞察。3.4 第四步模型评估与调优对于划分式聚类使用肘部法则和轮廓系数来辅助选择K值。肘部法则看的是误差平方和SSE下降的拐点轮廓系数在-1到1之间越接近1表示聚类效果越好。可以绘制不同K值下的轮廓系数图来比较。对于DBSCAN参数Eps, MinPts的选择更为棘手。一个实用的方法是使用k-距离图。对每个点计算它到第k个最近邻的距离然后对所有点按距离排序后绘图。图中“拐点”对应的距离可以作为Eps的参考值MinPts通常从k开始尝试。实操心得所有指标都只是参考。最终一定要结合业务常识来判断。比如你通过指标选出了K5但分出来的5个簇中有2个簇的业务特征极其相似难以区分和运营那么K4可能才是业务上更优的选择。聚类是工具业务才是目的。3.5 第五步结果解释与落地应用这是产生价值的最后一步。给每个簇打上“标签”。刻画簇特征计算每个簇在所有特征上的中心值均值或众数与整体平均值进行对比。找出哪些特征在该簇上显著高于或低于平均水平。可视化使用雷达图、条形图对比不同簇的特征剖面一目了然。业务命名根据特征给每个簇起一个业务上易懂的名字。例如“高价值活跃用户”、“低频促销敏感用户”、“流失风险用户”等。制定策略针对不同的用户群设计差异化的产品、营销或服务策略。这才是聚类分析的闭环。4. 高级话题与常见陷阱4.1 自组织神经网络SOM在聚类中的应用SOM是一种无监督神经网络它通过将高维数据映射到一个低维通常是二维的离散网格上来保持数据的拓扑结构。每个网格节点有一个权重向量。学习过程中对于每个输入数据找到与之最匹配的节点获胜神经元并更新该节点及其邻居节点的权重使其更接近输入数据。在聚类中SOM可以作为一个强大的预处理和可视化工具。首先用SOM将数据映射到二维网格上相似的数据点会激活地图上相邻的神经元。然后你可以对SOM的神经元权重本身进行聚类比如再用K-Means对权重向量聚类或者直接根据数据点在SOM上的位置来划分簇。它的优势在于可视化直观可以直接看到高维数据在二维平面上的投影和聚类结构。对缺失数据有一定鲁棒性训练时可以仅基于存在的特征更新权重。揭示拓扑关系地图上相邻的神经元代表相似的模式。但它也有缺点训练过程相对较慢网络结构网格大小、形状需要预设解释最终聚类结果时需要理解SOM的输出。4.2 混合型数据的聚类挑战现实中的数据往往是混合的既有年龄、收入这样的数值特征又有性别、职业这样的分类特征。直接计算欧氏距离没有意义。常见的处理思路有将分类变量转换为数值变量使用独热编码One-Hot Encoding。但这样会极大增加维度且可能使数值特征的重要性被稀释。使用能处理混合距离的算法例如K-Prototypes算法它是K-Means的扩展在计算距离时对数值特征使用欧氏距离对分类特征使用汉明距离相异为1相同为0并将两者通过一个权重系数γ结合。如何设置γ是一个关键问题。分别聚类再整合先对数值特征和分类特征分别进行聚类然后再整合结果但方法较为复杂。4.3 聚类分析中的典型陷阱盲目相信算法结果聚类算法总会给你一个结果即使数据本身根本没有明显的簇结构。一定要用统计方法如霍普金斯统计量先检验数据的可聚类性并通过可视化初步判断。忽略量纲效应不做标准化就直接聚类是新手最常见的错误会导致结果完全由量纲大的特征主导。过度解读将算法输出的簇强行赋予复杂的故事。有时候数据中的自然分组可能就是随机的或者由某个你未考虑到的无关变量导致。保持怀疑交叉验证。“黑箱”操作只关心最终分了几类不关心每个类的具体特征和形成原因。没有业务解释的聚类是毫无价值的。静态视角客户行为、市场环境是变化的。一次聚类的结果不是一劳永逸的需要定期更新模型监控簇的稳定性和演变趋势。聚类分析是一门艺术更是一门科学。它需要你对数据有敏锐的直觉对业务有深刻的理解对算法有清晰的认知并在三者之间不断权衡和迭代。这个“零”篇希望能为你推开这扇门建立起一个稳固的思维框架。在接下来的系列中我们将深入每一个具体的算法拆解其数学原理手把手进行代码实战并分享更多我在实际项目中积累的“血泪”经验。当你下次再面对一堆没有标签的数据时希望你能从容地拿起聚类分析这把工具让数据自己开口说话。
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
