0
点赞
收藏
分享

微信扫一扫

Selenium 自动化 —— 入门和 Hello World 实例

扬帆远航_df7c 03-15 10:30 阅读 2

层次聚类

1、引言

小屌丝:鱼哥, 这周末过的滋润啊。
小鱼:… 每个周末都挺滋润的啊。
小屌丝:啊~ ~ 你这…
小鱼:周末加班,岂不滋润?
小屌丝:加班…
小鱼:对啊,加班哦。
小屌丝:你这加班…是在哪里,加什么班? ?
小鱼:你这…
小屌丝:难道 ??
在这里插入图片描述

小鱼:你是不是想学习 层次聚类算法? ?
小屌丝: 啊…这 …
小鱼:学不学?
小屌丝:这个,是学,还是不学??
小鱼:你说学不学?
小屌丝:这个… 学吧。
小鱼: 那咱就开始 ~

2、层次聚类

2.1 定义

层次聚类(Hierarchical Clustering)是一种无监督学习算法,用于对数据进行分组或聚类。
不同于K-means等聚类算法,层次聚类可以输出一个层次结构的分组结果,可以从粗到细地描述数据的聚类关系。

2.2 原理

层次聚类的原理是不断合并最相似的样本或子聚类,直到所有样本或子聚类都被合并成一个大的聚类。这个过程可以形象地表示为一个树状结构,称为聚类树(dendrogram)。

在层次聚类中,有两种常见的方法:凝聚式聚类和分裂式聚类

  • 凝聚式聚类(Agglomerative Clustering)从每个样本开始,将最相似的样本或聚类合并在一起,直到所有样本都被合并成一个大的聚类。这个过程中,通过计算样本或聚类之间的相似度来确定最相似的样本或聚类。

  • 分裂式聚类(Divisive Clustering)从一个整体开始,将整个样本或聚类分成若干个子聚类,然后逐步细分子聚类,直到每个样本都成为一个独立的聚类。这个过程中,通过计算样本或聚类内部的差异来确定划分方式。

2.3 实现方式

实现层次聚类算法通常包括以下步骤:

  • 初始化:每个样本点都被视为一个独立的簇。

  • 计算距离矩阵:计算所有样本点之间的距离,形成一个距离矩阵。这个矩阵将用于确定哪些簇应该合并。

  • 合并簇:基于某种链接准则(如单链接、全链接或平均链接),选择距离最近的两个簇进行合并。

  • 更新距离矩阵:随着簇的合并,更新距离矩阵以反映新簇之间的距离。

  • 重复步骤:重复步骤3和4,直到达到预设的簇数量或满足其他停止条件。

在合并簇的过程中,可以选择不同的链接准则,如单链接(Single-linkage)、全链接(Complete-linkage)或平均链接(Average-linkage)等。这些链接准则决定了如何计算簇之间的距离或相似度。

2.4 算法公式

凝聚层次聚类的核心步骤是计算簇之间的距离或相似度。以欧氏距离为例,假设有两个簇(C_i)和(C_j),它们分别包含样本点集合({x_1, x_2, …, x_m})和({y_1, y_2, …, y_n}),则簇间距离(d(C_i, C_j))可以使用以下公式计算:

单链接(Single-linkage) ( d ( C i , C j ) = min ⁡ x ∈ C i , y ∈ C j d ( x , y ) ) (d(C_i, C_j) = \min_{x \in C_i, y \in C_j} d(x, y)) (d(Ci,Cj)=xCi,yCjmind(x,y))
全链接(Complete-linkage) ( d ( C i , C j ) = max ⁡ x ∈ C i , y ∈ C j d ( x , y ) ) (d(C_i, C_j) = \max_{x \in C_i, y \in C_j} d(x, y)) (d(Ci,Cj)=xCi,yCjmaxd(x,y))
平均链接(Average-linkage) ( d ( C i , C j ) = 1 m n ∑ x ∈ C i ∑ y ∈ C j d ( x , y ) ) (d(C_i, C_j) = \frac{1}{mn} \sum_{x \in C_i} \sum_{y \in C_j} d(x, y)) (d(Ci,Cj)=mn1xCiyCjd(x,y))
其中, ( d ( x , y ) ) (d(x, y)) (d(x,y))表示样本点(x)和(y)之间的距离。

2.5 代码示例

# -*- coding:utf-8 -*-
# @Time   : 2024-03-01
# @Author : Carl_DJ

'''
实现功能:
	使用sklearn库中的AgglomerativeClustering实现层次聚类:

'''

from sklearn.cluster import AgglomerativeClustering
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt

# 创建示例数据
X, _ = make_blobs(n_samples=100, n_features=2, centers=3, random_state=42)

# 应用层次聚类
cluster = AgglomerativeClustering(n_clusters=None, linkage='ward')  # 不预设聚类数量,采用 ward 方法
prediction = cluster.fit_predict(X)

# 可视化结果
plt.scatter(X[:, 0], X[:, 1], c=prediction)
plt.title('Hierarchical Clustering')
plt.show()

在这里插入图片描述

3、总结

层次聚类是一种简单而直观的无监督学习方法,它通过构建层次结构来组织数据。
不同的链接准则和距离度量方法会影响聚类的结果,因此在实际应用中需要根据数据的特性和需求选择合适的参数。
层次聚类的一个主要优点是能够生成簇的层次结构,这有助于理解数据的内在结构和关系。
然而,它也有一些局限性,例如对于大规模数据集的计算效率可能较低,且一旦做出合并决策就无法撤销。
因此,在选择层次聚类时,需要综合考虑其优缺点以及具体应用场景的需求。

我是小鱼

  • CSDN 博客专家
  • 阿里云 专家博主
  • 51CTO博客专家
  • 多个名企认证讲师等
  • 认证金牌面试官
  • 名企签约职场面试培训、职场规划师
  • 多个国内主流技术社区的认证专家博主
  • 多款主流产品(阿里云等)测评一、二等奖获得者

关注小鱼,学习机器学习领域的知识。

举报

相关推荐

0 条评论