聚类是什么：聚类是无监督学习。是将相似的样本分组的过程，每个组称为一个簇，样本没有标签。
聚类的应用：天气特征、信息检索（搜索引擎）
聚类的方法：1.基于相似度的聚类方法，使用的是m*n相似度矩阵或距离矩阵；2.基于特征的聚类方法，使用的是n*d的特征数据X；1的优势：能把不同领域的数据相似度的度量融合进去，甚至可以考虑加入核函数来度量原始数据；2的优势：直接用原始数据，避免因度量距离而丢失某些信息。
1.K-Means聚类
算法原理
K-means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means算法以欧氏距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标J最小。算法采用误差平方和准则函数作为聚类准则函数。
算法过程
1)从N个文档随机选取K个文档作为质心
2)对剩余的每个文档测量其到每个质心的距离，并把它归到最近的质心的类
3)重新计算已经得到的各个类的质心
4)迭代2~3步直至新的质心与原质心相等或小于指定阈值，算法结束
具体如下:
输入:k, data[n];
(1) 选择k个初始中心点，例如c[0]=data[0],…c[k-1]=data[k-1];
(2) 对于data[0]….data[n]，分别与c[0]…c[k-1]比较，假定与c[i]差值最少，就标记为i;
(3) 对于所有标记为i点，重新计算c[i]={ 所有标记为i的data[j]之和}/标记为i的个数;
(4) 重复(2)(3)，直到所有c[i]值的变化小于给定阈值。
如何选取K值最优
手肘法原理
SSE为误差平方和，为第i个簇，P是
中的样本点，
是
的质心，
为所有样本的均值。SSE越小，聚类的效果越好。
关键代码：
import pandas as pd
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt
SSE = []
for k in range(1,9):
teenager_cluster_model = KMeans(n_clusters = k)#构造聚类器
teenager_cluster_model.fit(teenager_sns_zscore)
SSE.append(teenager_cluster_model.inertia_)#estimator.inertia_获取聚类准则的总和
X = range(1,9)
plt.xlabel('k')
plt.ylabel('SSE')
plt.plot(X,SSE,'-o')
plt.show()
轮廓系数法
,a越小，b越大，效果越好
最近簇的定义：
代码
Scores = [] # 存放轮廓系数
for k in range(2, 9):
estimator = KMeans(n_clusters=k) # 构造聚类器
estimator.fit(np.array(mdl[['Age', 'Gender', 'Degree']]))
Scores.append(silhouette_score(np.array(mdl[['Age', 'Gender', 'Degree']]), estimator.labels_, metric='euclidean'))
X = range(2, 9)
plt.xlabel('k')
plt.ylabel('轮廓系数')
plt.plot(X, Scores, 'o-')
plt.show()
2.层次聚类
实验原理：https://www.cnblogs.com/zongfa/p/9344769.html
https://blog.csdn.net/sinat_29957455/article/details/80146093
https://blog.csdn.net/qq_32284189/article/details/81302182
关键代码：
def tree(X, labelture):
# row_clusters = linkage(pdist(df, metric='euclidean'), method='complete') # 使用抽秘籍距离矩阵
row_clusters = linkage(X, method='complete', metric='euclidean')
print (pd.DataFrame(row_clusters, columns=['row label1', 'row label2', 'distance', 'no. of items in clust.'],
index=['cluster %d' % (i + 1) for i in range(row_clusters.shape[0])]))
# 层次聚类树
row_dendr = dendrogram(row_clusters, labels=labelture)
plt.tight_layout()
plt.ylabel('Euclidean distance')
plt.show()
3.谱聚类
https://www.sogou.com/link?url=hedJjaC291P3yGwc7N55kLSc2ls_Ks2xuhK8zoHiSmEsBhAHv_p0nzh3ZfoXRJBg
https://mp.weixin.qq.com/s?src=11×tamp=1572660720&ver=1949&signature=ZH131bZ82S3cOmNYG3bgOQ8O3bBGWJ0GglsIjlXddxp0UjnFhZxeMMBRO-rIJBX3-yR4Md4h3ZU5ymjXEyZpIJcrh8wOuybWRYOfA7tHbGJvnEXUoELIRkmQ1-rJnp8K&new=1
# spectralClustering聚类算法
y_pred=cluster.SpectralClustering(n_clusters=2,affinity="nearest_neighbors").fit_predict(noisy_circles[0])
plt.scatter(noisy_circles[0][:,0],noisy_circles[0][:,1],marker='.',c=y_pred)
plt.title("spectralClustering")
plt.show()
4.基于密度的聚类DBSCAN
https://www.sogou.com/link?url=hedJjaC291OfPyaFZYFLI4KQWvqt63NBQgDhIHr5guXAv-KV-mr96Q..
from sklearn import metrics
def draw(m_kmeans,X,y_pred,n_clusters):
centers = m_kmeans.cluster_centers_
print(centers)
plt.scatter(X[:, 0], X[:, 1], c=y_pred, s=50, cmap='viridis')
#中心点（质心）用红色标出
plt.scatter(centers[:, 0], centers[:, 1], c='red', s=200, alpha=0.5)
print("Calinski-Harabasz score：%lf"%metrics.calinski_harabaz_score(X, y_pred) )
plt.title("K-Means (clusters = %d)"%n_clusters,fontsize=20)
m_kmeans.fit(X)
KMeans(algorithm='auto', copy_x=True, init='k-means++', max_iter=300,
n_clusters=4, n_init=10, n_jobs=None, precompute_distances='auto',
random_state=None, tol=0.0001, verbose=0)
y_pred = m_kmeans.predict(X)
draw(m_kmeans,X,y_pred,4)
5.Meanshift聚类
https://mp.weixin.qq.com/s?src=11×tamp=1572661953&ver=1949&signature=Bnx8rlLPbwOXrRceZwCwYfJqO1yoJWCKp6dkG0Iqi4-TmFmU7jXGSJiDcN2bCjhGTMXIDXDqF1r0QZhAyEgwogN4FsHyUZkySzNWqOGBiM6lgbr8*Lw4MtQSzPN6aMbg&new=1
https://mp.weixin.qq.com/s?src=11×tamp=1572661953&ver=1949&signature=Ru4MV-JtuoTVTShxiYjUfTKzptqP-k01BjZDaL0vwOwlF83sUqBtNsu2nAR2-Z0f40eeK*9YA6rcJNxAj7g3IUO8qlR0bTOjNLb0iP9MWdilDHvhqVLDJBhvgTO1BDDa&new=1
