数据挖掘-聚类分析
簇是属于同一类的一组对象。换句话说，相似的对象被分组在一个簇中，而不相似的对象被分组在另一簇中。
什么是聚类？
聚类是将一组抽象对象划分为相似对象的类的过程。
需要记住的要点
一组数据对象可以被视为一组。
在进行聚类分析时，我们首先根据数据相似性将数据集划分为组，然后为组分配标签。
聚类相对于分类的主要优点是，它能够适应变化并有助于挑选出区分不同群体的有用特征。
聚类分析的应用
聚类分析广泛应用于市场研究、模式识别、数据分析和图像处理等许多应用中。
聚类还可以帮助营销人员发现客户群中的不同群体。他们可以根据购买模式来描述客户群体的特征。
在生物学领域，它可用于派生植物和动物分类学，对具有相似功能的基因进行分类，并深入了解种群固有的结构。
聚类还有助于识别地球观测数据库中类似土地利用的区域。它还有助于根据房屋类型、价值和地理位置识别城市中的房屋组。
聚类还有助于对网络上的文档进行分类以进行信息发现。
聚类还用于异常值检测应用，例如信用卡欺诈检测。
作为一种数据挖掘功能，聚类分析是一种深入了解数据分布以观察每个聚类特征的工具。
数据挖掘中聚类的要求
以下几点阐明了为什么数据挖掘中需要聚类 -
可扩展性- 我们需要高度可扩展的集群算法来处理大型数据库。
处理不同类型属性的能力- 算法应该能够应用于任何类型的数据，例如基于间隔的（数字）数据、分类数据和二进制数据。
具有属性形状的簇的发现- 聚类算法应该能够检测任意形状的簇。它们不应仅限于容易发现小尺寸球形簇的距离测量。
高维- 聚类算法不仅应该能够处理低维数据，还应该能够处理高维空间。
处理噪声数据的能力- 数据库包含噪声、丢失或错误的数据。某些算法对此类数据敏感，可能会导致聚类质量较差。
可解释性- 聚类结果应该是可解释的、可理解的和可用的。
聚类方法
聚类方法可以分为以下几类 -
- 分区方式
- 层次法
- 基于密度的方法
- 基于网格的方法
- 基于模型的方法
- 基于约束的方法
分区方式
假设我们有一个包含“n”个对象的数据库，并且分区方法构造了“k”个数据分区。每个分区将代表一个簇并且 k ≤ n。这意味着它将数据分为 k 组，满足以下要求 -
每组至少包含一个对象。
每个对象必须恰好属于一个组。
要记住的要点 -
对于给定数量的分区（比如 k），分区方法将创建一个初始分区。
然后，它使用迭代重定位技术，通过将对象从一组移动到另一组来改进分区。
分层方法
此方法创建给定数据对象集的分层分解。我们可以根据层次分解的形成方式对层次方法进行分类。这里有两种方法 -
- 聚合方法
- 分裂的方法
聚合方法
这种方法也称为自下而上的方法。在此，我们从每个对象形成一个单独的组开始。它不断合并彼此接近的对象或组。它继续这样做，直到所有组合并为一个或直到终止条件成立。
分裂的方法
这种方法也称为自上而下的方法。在此，我们从同一集群中的所有对象开始。在连续迭代中，一个簇被分成更小的簇。它会一直关闭，直到一个簇中的每个对象或终止条件成立为止。这种方法是刚性的，即一旦合并或分裂完成，就永远无法撤消。
提高层次聚类质量的方法
以下是用于提高层次聚类质量的两种方法 -
对每个层次分区的对象链接进行仔细分析。
集成层次聚合，首先使用层次聚合算法将对象分组为微簇，然后对微簇进行宏聚类。
基于密度的方法
该方法基于密度的概念。基本思想是只要邻域中的密度超过某个阈值，就继续增长给定的簇，即，对于给定簇内的每个数据点，给定簇的半径必须至少包含最小数量的点。
基于网格的方法
在此，对象一起形成一个网格。对象空间被量化为形成网格结构的有限数量的单元。
优点
该方法的主要优点是处理时间快。
它仅取决于量化空间中每个维度的单元数量。
基于模型的方法
在此方法中，为每个簇假设一个模型，以找到给定模型的最佳数据拟合。该方法通过对密度函数进行聚类来定位聚类。它反映了数据点的空间分布。
该方法还提供了一种根据标准统计自动确定聚类数量的方法，同时考虑异常值或噪声。因此它产生了稳健的聚类方法。
基于约束的方法
在此方法中，通过结合用户或面向应用的约束来执行聚类。约束是指用户期望或期望的聚类结果的属性。约束为我们提供了一种与聚类过程进行交互的通信方式。约束可以由用户或应用程序要求指定。