K-means算法在MATLAB中的实现例子

【摘要】K-means算法是聚类算法中一种最经典最简单的聚类算法了，也叫作K平均算法，本文讲一讲该算法的基本思想以及使用MATLAB实现聚类的小例子。

K-means算法是一种基于划分的聚类算法，聚类，顾名思义，就是通过机器的无监督学习依据数据之间的关联度将数据集中的数据自动划分到若干个组群中，使得同一簇中的元素彼此相识，而不同簇之间的元素相似度低。

K-means聚类的核心思想是通过迭代过程把数据划分到不同的聚类中，算法思想简单，易于实现，能够快速处理大规模的数据，是目前数据挖掘领域应用中最广泛的聚类算法之一，基本思想是：给出一个数据集，初始随机给定K个簇中心（注：这就是为什么叫K-means，而不叫做M-means等其他），按照最邻近原则，把数据集中的数据样本分类到刚刚初始给定的K的簇中，然后按照平均法（注：这里知道为什么叫做K-means了吧，而不叫做K-ok等等算法了吧）通过已经在簇中的元素重新计算各个簇的中心，从而确定出新的簇心。这样一直迭代的计算新的簇中心，直到簇中心的移动距离不大于给定的某个值或者到达给定的迭代次数为止。

聚类步骤图：

步骤如下：

a.给出一个数据集

b.随机设置若干个聚类中心

c.计算点到聚类中心的距离，并根据距离最近原则，将点归入最近的一个聚类中。

d.计算每个聚类中所有点的坐标平均值，并把计算出来的平均值设置为新的簇中心。

e、f.如此反复执行（2）、（3）步，直到聚类中心不再大范围的移动为止。

给出一个通过MATLAB实现的例子：

（1）基本信息：数据集中共150个点，K=3。

（2）实现代码：

1. %随机获取150个点

2. X = [randn(50,2)+ones(50,2);randn(50,2)-ones(50,2);randn(50,2)+[ones(50,1),-ones(50,1)]];

4. opts = statset('Display','final');

6. %调用Kmeans函数

7. %X N*P的数据矩阵

8. %Idx N*1的向量,存储的是每个点的聚类标号

9. %Ctrs K*P的矩阵,存储的是K个聚类质心位置

10. %SumD 1*K的和向量,存储的是类间所有点与该类质心点距离之和

11. %D N*K的矩阵，存储的是每个点与所有质心的距离;

13. [Idx,Ctrs,SumD,D] = kmeans(X,3,'Replicates',3,'Options',opts);

15. %画出聚类为1的点。X(Idx==1,1),为第一类的样本的第一个坐标；X(Idx==1,2)为第二类的样本的第二个坐标

16. plot(X(Idx==1,1),X(Idx==1,2),'r.','MarkerSize',14)

17. hold on

18. plot(X(Idx==2,1),X(Idx==2,2),'b.','MarkerSize',14)

19. hold on

20. plot(X(Idx==3,1),X(Idx==3,2),'g.','MarkerSize',14)

22. %绘出聚类中心点,kx表示是圆形

23. plot(Ctrs(:,1),Ctrs(:,2),'kx','MarkerSize',14,'LineWidth',4)

24. plot(Ctrs(:,1),Ctrs(:,2),'kx','MarkerSize',14,'LineWidth',4)

25. plot(Ctrs(:,1),Ctrs(:,2),'kx','MarkerSize',14,'LineWidth',4)

27. legend('Cluster 1','Cluster 2','Cluster 3','Centroids','Location','NW')

29. Ctrs

30. SumD

（3）执行结果：

Replicate 1, 7 iterations, total sum of distances = 204.081.

Replicate 2, 10 iterations, total sum of distances = 204.081.

Replicate 3, 7 iterations, total sum of distances = 204.081.

Best total sum of distances = 204.081

Ctrs =

0.9843 1.2346

-0.8416 -0.9905

1.4836 -1.2452

SumD =

79.0240

80.3317

44.7253

（4）聚类效果图：

这篇文章的主要是讲解一下K-means算法的基本思路，并且通过一个MATLAB的小程序实现聚类，以更客观上的了解这个算法，代码不是核心，重要的是理解其中的基本思路。

我要打赏