0
点赞
收藏
分享

微信扫一扫

【微服务】------微服务架构技术栈

_karen 2天前 阅读 2
机器学习聚类人工智能

文章目录

1、前言

1.1、定义

  • 聚类分析，即聚类，是一项无监督的机器学习任务。它包括自动发现数据中的自然分组。与监督学习（类似预测建模）不同，聚类算法只解释输入数据，并在特征空间中找到自然组或群集。

1.2、数据

  • 我们将使用 make _ classification ()函数创建一个测试二分类数据集。数据集将有1000个示例，每个类有两个输入要素和一个群集。这些群集在两个维度上是可见的，因此我们可以用散点图绘制数据，并通过指定的群集对图中的点进行颜色绘制。
    # 综合分类数据集
import numpy as np
from sklearn.datasets import make_classification
import matplotlib.pyplot as plt
# 定义数据集
X, y = make_classification(n_samples=1000, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1, random_state=4)
# 为每个类的样本创建散点图
for class_value in range(2):
# 获取此类的示例的行索引
    row_ix = np.where(y == class_value)
    # 创建这些样本的散布
    plt.scatter(X[row_ix, 0], X[row_ix, 1])
    # 绘制散点图
plt.show()

2、亲和力传播

  • 它是通过 AffinityPropagation 类实现的，要调整的主要配置是将“ 阻尼 ”设置为0.5到1，甚至可能是“首选项”。
    # 亲和力传播聚类
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.cluster import AffinityPropagation

# 定义数据集
X, _ = make_classification(n_samples=1000, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1, random_state=4)
# 定义模型
model = AffinityPropagation(damping=0.9)
# 匹配模型
model.fit(X)
# 为每个示例分配一个集群
yhat = model.predict(X)
# 检索唯一群集
clusters = np.unique(yhat)
# 为每个群集的样本创建散点图
plt.figure(figsize=(8,6))
plt.rcParams['font.size']=15
for cluster in clusters:
    # 获取此群集的示例的行索引
    row_ix = np.where(yhat == cluster)
    # 创建这些样本的散布
    plt.scatter(X[row_ix, 0], X[row_ix, 1])

plt.title('AffinityPropagation')
# 绘制散点图
plt.show()
  • 结果
    在这里插入图片描述

3、聚合聚类

  • 聚合聚类涉及合并示例，直到达到所需的群集数量为止。它是层次聚类方法的更广泛类的一部分，通过 AgglomerationClustering 类实现的，主要配置是“ n _ clusters ”集，这是对数据中的群集数量的估计。
    # 聚合聚类
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.cluster import AgglomerativeClustering

# 定义数据集
X, _ = make_classification(n_samples=1000, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1, random_state=4)
# 定义模型
model = AgglomerativeClustering(n_clusters=2)
# 模型拟合与聚类预测
yhat = model.fit_predict(X)
# 检索唯一群集
clusters = np.unique(yhat)
# 为每个群集的样本创建散点图
plt.figure(figsize=(8,6))
plt.rcParams['font.size']=15
for cluster in clusters:
    # 获取此群集的示例的行索引
    row_ix = np.where(yhat == cluster)
    # 创建这些样本的散布
    plt.scatter(X[row_ix, 0], X[row_ix, 1])
plt.title('AgglomerativeClustering')
# 绘制散点图
plt.show()
  • 结果
    在这里插入图片描述

4、BIRCH

  • BIRCH 聚类（ BIRCH 是平衡迭代减少的缩写，聚类使用层次结构)包括构造一个树状结构，从中提取聚类质心。它是通过 Birch 类实现的，主要配置是“ threshold ”和“ n _ clusters ”超参数，后者提供了群集数量的估计。
    # 聚合聚类
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.cluster import Birch

# 定义数据集
X, _ = make_classification(n_samples=1000, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1, random_state=4)
# 定义模型
model = Birch(threshold=0.01, n_clusters=2)
# 模型拟合与聚类预测
yhat = model.fit_predict(X)
# 检索唯一群集
clusters = np.unique(yhat)
# 为每个群集的样本创建散点图
plt.figure(figsize=(8,6))
plt.rcParams['font.size']=15
for cluster in clusters:
    # 获取此群集的示例的行索引
    row_ix = np.where(yhat == cluster)
    # 创建这些样本的散布
    plt.scatter(X[row_ix, 0], X[row_ix, 1])
plt.title('Birch')
# 绘制散点图
plt.show()
  • 结果
    在这里插入图片描述

5、DBSCAN

  • DBSCAN 聚类（其中 DBSCAN 是基于密度的空间聚类的噪声应用程序）涉及在域中寻找高密度区域，并将其周围的特征空间区域扩展为群集。它是通过 DBSCAN 类实现的，主要配置是“ eps ”和“ min _ samples ”超参数。
    # 聚合聚类
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.cluster import DBSCAN

# 定义数据集
X, _ = make_classification(n_samples=1000, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1, random_state=4)
# 定义模型
model = DBSCAN(eps=0.30, min_samples=9)
# 模型拟合与聚类预测
yhat = model.fit_predict(X)
# 检索唯一群集
clusters = np.unique(yhat)
# 为每个群集的样本创建散点图
plt.figure(figsize=(8,6))
plt.rcParams['font.size']=15
for cluster in clusters:
    # 获取此群集的示例的行索引
    row_ix = np.where(yhat == cluster)
    # 创建这些样本的散布
    plt.scatter(X[row_ix, 0], X[row_ix, 1])
plt.title('DBSCAN')
# 绘制散点图
plt.show()
  • 结果
    在这里插入图片描述

6、K-均值

  • K-均值聚类可以是最常见的聚类算法，并涉及向群集分配示例，以尽量减少每个群集内的方差。它是通过 K-均值类实现的，要优化的主要配置是“ n _ clusters ”超参数设置为数据中估计的群集数量。
    # 聚合聚类
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.cluster import KMeans

# 定义数据集
X, _ = make_classification(n_samples=1000, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1, random_state=4)
# 定义模型
model = KMeans(n_clusters=2)
# 模型拟合与聚类预测
yhat = model.fit_predict(X)
# 检索唯一群集
clusters = np.unique(yhat)
# 为每个群集的样本创建散点图
plt.figure(figsize=(8,6))
plt.rcParams['font.size']=15
for cluster in clusters:
    # 获取此群集的示例的行索引
    row_ix = np.where(yhat == cluster)
    # 创建这些样本的散布
    plt.scatter(X[row_ix, 0], X[row_ix, 1])
plt.title('KMeans')
# 绘制散点图
plt.show()
  • 结果
    在这里插入图片描述

7、Mini-Batch K-均值

  • Mini-Batch K-均值是 K-均值的修改版本，它使用小批量的样本而不是整个数据集对群集质心进行更新，这可以使大数据集的更新速度更快，并且可能对统计噪声更健壮。它是通过 MiniBatchKMeans 类实现的，要优化的主配置是“ n _ clusters ”超参数，设置为数据中估计的群集数量。
    # 聚合聚类
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.cluster import MiniBatchKMeans

# 定义数据集
X, _ = make_classification(n_samples=1000, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1, random_state=4)
# 定义模型
model = MiniBatchKMeans(n_clusters=2)
# 模型拟合与聚类预测
yhat = model.fit_predict(X)
# 检索唯一群集
clusters = np.unique(yhat)
# 为每个群集的样本创建散点图
plt.figure(figsize=(8,6))
plt.rcParams['font.size']=15
for cluster in clusters:
    # 获取此群集的示例的行索引
    row_ix = np.where(yhat == cluster)
    # 创建这些样本的散布
    plt.scatter(X[row_ix, 0], X[row_ix, 1])
plt.title('MiniBatchKMeans')
# 绘制散点图
plt.show()
  • 结果
    在这里插入图片描述

8、均值漂移聚类

  • 均值漂移聚类涉及到根据特征空间中的实例密度来寻找和调整质心。它是通过 MeanShift 类实现的，主要配置是“带宽”超参数。
    # 聚合聚类
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.cluster import MeanShift

# 定义数据集
X, _ = make_classification(n_samples=1000, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1, random_state=4)
# 定义模型
model = MeanShift()
# 模型拟合与聚类预测
yhat = model.fit_predict(X)
# 检索唯一群集
clusters = np.unique(yhat)
# 为每个群集的样本创建散点图
plt.figure(figsize=(8,6))
plt.rcParams['font.size']=15
for cluster in clusters:
    # 获取此群集的示例的行索引
    row_ix = np.where(yhat == cluster)
    # 创建这些样本的散布
    plt.scatter(X[row_ix, 0], X[row_ix, 1])
plt.title('MeanShift')
# 绘制散点图
plt.show()
  • 结果
    在这里插入图片描述

9、OPTICS

  • OPTICS 聚类（ OPTICS 短于订购点数以标识聚类结构）是上述 DBSCAN 的修改版本。它是通过 OPTICS 类实现的，主要配置是“ eps ”和“ min _ samples ”超参数。
    # 聚合聚类
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.cluster import OPTICS

# 定义数据集
X, _ = make_classification(n_samples=1000, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1, random_state=4)
# 定义模型
model = OPTICS(eps=0.8, min_samples=10)
# 模型拟合与聚类预测
yhat = model.fit_predict(X)
# 检索唯一群集
clusters = np.unique(yhat)
# 为每个群集的样本创建散点图
plt.figure(figsize=(8,6))
plt.rcParams['font.size']=15
for cluster in clusters:
    # 获取此群集的示例的行索引
    row_ix = np.where(yhat == cluster)
    # 创建这些样本的散布
    plt.scatter(X[row_ix, 0], X[row_ix, 1])
plt.title('OPTICS')
# 绘制散点图
plt.show()
  • 结果
    在这里插入图片描述

10、光谱聚类

  • 光谱聚类是一类通用的聚类方法，取自线性线性代数。它是通过 Spectral 聚类类实现的，而主要的 Spectral 聚类是一个由聚类方法组成的通用类，取自线性线性代数。要优化的是“ n _ clusters ”超参数，用于指定数据中的估计群集数量。
    # 聚合聚类
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.cluster import SpectralClustering

# 定义数据集
X, _ = make_classification(n_samples=1000, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1, random_state=4)
# 定义模型
model = SpectralClustering(n_clusters=2)
# 模型拟合与聚类预测
yhat = model.fit_predict(X)
# 检索唯一群集
clusters = np.unique(yhat)
# 为每个群集的样本创建散点图
plt.figure(figsize=(8,6))
plt.rcParams['font.size']=15
for cluster in clusters:
    # 获取此群集的示例的行索引
    row_ix = np.where(yhat == cluster)
    # 创建这些样本的散布
    plt.scatter(X[row_ix, 0], X[row_ix, 1])
plt.title('SpectralClustering')
# 绘制散点图
plt.show()
  • 结果
    在这里插入图片描述

11、高斯混合模型

  • 高斯混合模型总结了一个多变量概率密度函数，顾名思义就是混合了高斯概率分布。它是通过 Gaussian Mixture 类实现的，要优化的主要配置是“ n _ clusters ”超参数，用于指定数据中估计的群集数量。
    # 聚合聚类
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.mixture import GaussianMixture

# 定义数据集
X, _ = make_classification(n_samples=1000, n_features=2, n_informative=2, n_redundant=0, n_clusters_per_class=1, random_state=4)
# 定义模型
model = GaussianMixture(n_components=2)
# 模型拟合与聚类预测
yhat = model.fit_predict(X)
# 检索唯一群集
clusters = np.unique(yhat)
# 为每个群集的样本创建散点图
plt.figure(figsize=(8,6))
plt.rcParams['font.size']=15
for cluster in clusters:
    # 获取此群集的示例的行索引
    row_ix = np.where(yhat == cluster)
    # 创建这些样本的散布
    plt.scatter(X[row_ix, 0], X[row_ix, 1])
plt.title('GaussianMixture')
# 绘制散点图
plt.show()
  • 结果
    在这里插入图片描述

12、参考

10 种聚类算法的完整 Python 操作示例

举报

相关推荐

微服务技术栈

日记本技术架构微服务架构与应用程序员

什么是微服务？（微服务的技术栈）

python信息可视化pycharmhtml5

微服务架构深入理解 | 技术栈

架构微服务云原生消息队列应用程序Python后端开发

目前最新微服务架构技术栈选型

微服务技术栈HarmonyOS后端开发

微服务架构概念理解及技术栈

3d微服务限流编程语言

初识微服务技术栈

微服务spring cloudjava

微服务技术栈(1.0)

ajax笔记okhttp

【微服务架构】微服务架构——探索 UBER 的微服务架构

大数据编程语言数据库python人工智能

「微服务架构」企业微服务架构

大数据python人工智能java编程语言

01-了解微服务架构的演变过程和微服务技术栈

unity贴图游戏引擎
0 条评论