前言
学习数据挖掘已经有一段时间了，相关的文章和书也看了一些，感觉学习这个的关键还是离不开其中形形色色的算法。作为一个初学者，我们也不奢求创新改进个算法。先从基础做起，学会各个基础算法的思想与实现。学习算法的过程是十分枯燥的，但是如果学习的过程能够实践，例如使用R语言实践一下，将一堆头痛眼花的数据转化成一张炫酷的图，这无疑是十分有成就感的。所以，我就最近学习的资料，整理了一些算法与R语言的实现方法分享一下。由于篇幅的问题，后面提到的函数我都没有详细介绍了，想了解的可以使用>?函数名或>??函数名查看。
分类
1、KNN算法
K——最临近方法（k Nearest Neighbors，简称KNN）是实际运用中经常被采用的一种基于距离的分类算法。
基本思想：
假定每个类包含多个训练数据，且每个训练数据都有一个唯一的类别标记，计算每个训练数据到待分类元组的距离，取和待分类元组距离最近的k个训练数据，k个数据中哪个类别的训练数据占多数，则待分类元组就属于哪个类别。
主要函数：
knn()
加载R中的class库：
>library(class)
实例：
>data(iris3)
#选取前30个数据作为训练数据
>train<-rbind(iris[1:30,,1],iris[1:30,,2],iris[1:30,,3])
#剩下的作为测试数据
>test<-rbind(iris[31:50,,1],iris[31:50,,2],iris[31:50,,3])
>c1<-factor(c(rep("s",30),rep("c",30),rep("v",30)))
#进行KNN算法分类
>knn(train,test,c1,k=3,prob=TRUE)
>attributes(.Last.value)
2、决策树算法（C4,5）
主要函数：
J48()
准备工作：
>install.packages('rJava')
>install.packages('party')
>install.packages('RWeka')
>install.packages('partykit')
>library(RWeka)
>library(party)
实例：
>oldpar=par(mar=c(3,3,1.5,1),mgp=c(1.5,0.5,0),cex=0.3)
>data(iris)
>m1<-J48(Species~.,data=iris)
>m1
>table(iris$Species,predict(m1))
>write_to_dot(m1)
>if(require("party",quietly=TRUE)) plot(m1)
生成树如下：
3、CART算法
CART(Classification and Regression Tree，分类与回归树)。
主要函数：
tree()
准备工作：
>install.packages('tree')
>library(tree)
实例：
#设置窗口参数
>oldpar=par(mar=c(3,3,1.5,1),mgp=c(1.5,0.5,0),cex=0.7)
>data(iris)
#对品种进行CART分类
>ir.tr=tree(Species~.,iris)
>summary(ir.tr)
#画决策树图
>plot(ir.tr):text(ir.tr)
生成树如下：
4、BP神经网络算法
主要函数：
nnet()
准备工作：
>install.packages('nnet')
>library(nnet)
实例：
>data(iris3)
>ir<-rbind(iris3[,,1],iris3[,,2],iris3[,,3])
>targets<-class.ind(c(rep("s",50),rep("c",50),rep("v",50)))
#抽取25个样本
>samp<-c(sample(1:50,25),sample(51:100,25),sample(101:150,25))
>ir1<-nnet(ir[samp,],targets[samp,],size=2,rang=0.1,decay=5e-4,maxit=200)
>test.c1<-function(true,pred){
true<-max.col(true)
cres<-max.col(pred)
table(true,cres)
}
#对样本以外的数据的测试
>test.c1(targets[-samp,],predict(ir1,ir[-samp,]))
聚类
1、K-means算法
K-means算法是典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。
主要函数：
kmeans()
实例：
#随机生成样本数据
>x<-rbind(matrix(rnorm(10000,sd=0.3),ncol=10),matrix(rnorm(10000,mean=1,sd=0.3),ncol=10))
>colnames(x)<-c("x1","x2","x3","x4","x5","x6","x7","x8","x9","x10")
#调用K-means算法
>c1<-Kmeans(x,2)
>pch1=rep("1",1000)
>pch2=rep("2",1000)
>plot(x,col=c1$cluster,pch=c(pch1,pch2))
>points(c1$centers,col=3,pch="*",cex=3)
2、PAM算法
PAM(Partitioning around Medoid，围绕中心点的划分)是最早提出的k-medoids算法之一。它试图对n个对象给出k个划分。最初随机选择k个中心点后，该算法反复地试图找出更好的中心点。
主要函数：
pam()
准备工作：
>library(cluster)
实例：
>pamx=pam(x,2)
>summary(pamx)
>plot(pamx,main="pam效果图") #数据集同上
3、Clara算法
主要思想：不考虑整个数据集合，选择实际数据的一小部分作为数据的样本，然后用PAM方法从样本中选择中心点。如果样本是以随机形式选取的，它应当足以代表原来的数据集合。从中选出的代表对象（中心点）很可能与从整个数据集合中选出的非常近似Clara抽取数据集合的多个样本，对每个样本应用PAM算法，返回最好的聚类结果作为输出。
主要函数：
clara()
准备工作：
>library(cluster)
实例：
>clarax=clara(x,2)
>clarax
>clarax$clusinfo
>plot(clarax,main="clara图") #数据集同上
层次聚类
1、AGNES算法与DIANA算法
AGNES(Agglomerative Nesting)算法是凝聚的层次聚类方法。最初将每个对象作为一个簇，然后这些簇根据某些准则一步步地合并，直到所有的对象最终合并到一个簇中或某个终结条件被满足。
DIANA(Divisive ANAlysis)算法是分裂的层次聚类方法。采用自顶向下的策略，它首先将所有对象置于一个簇中，然后逐渐细分为越来越小的簇，直到每个对象自成一簇或某个终结条件被满足。
主要函数：
agnes()、diana()
准备工作：
>library(cluster)
实例：
AGNES和DIANA算法的比较
#将图形显示区划为两部分
>par(mfrow=c(1,2))
>data(flower)
>dai.f=daisy(flower,type=list(asymm=3,ordratio=7))
>agn.f=agnes(dai.f,method="ward")
>plot(agn.f,which.plot=2,cex=0.7,yaxt="n",main="agnes算法的聚类图")
>dia.f=diana(dai.f) #注意这里dia.f与dai.f不同
>plot(dia.f,which.plot=2,main="diana算法的聚类图")
结果图如下：
基于密度聚类
主要思想：只要临近区域的密度（对象或数据点的数目）超过某个阀值，就继续聚类。
优点：可以过滤“噪声”孤立点数据，发现任意形状的簇。
1、DBSCAN算法
DBSCAN(Density-Based Spatial Clustering of Application with Noise)是一个有代表性的基于密度的方法，它根据一个密度阀值来控制簇的增长。
主要函数：
DBSCAN()
准备工作：
>library(cluster)
实例：
>dflower<-daisy(flower,type=list(asymm=c("V1","V3"),symm=2,norminal=4,ordinal=c(5,6),ordratio=7,logratio=8))
>DBF=DBSCAN(dflower,eps=0.65,MinPts=5,distances=T)
>DBF
基于模型聚类
1、COBWEB算法
COBWEB是一种流行的简增量概念聚类算法。它以一个分类树的形式创建层次聚类，每个节点对应一个概念，包含该概念的一个概率描述，概述被分在该节点下的对象。
主要函数：
Cobweb()
准备工作：
>install.packages('RWeka')
>library(RWeka)
实例：
>com=rbind(cbind(rnorm(20,0,0.5),rnorm(20,0,0.5)),cbind(rnorm(30,5,0.5),rnorm(30,5,0.5)))
>clas=factor(rep(2:1,c(20,30)))
>dcom=data.frame(com,clas)
>c1<-Cobweb(dcom)
>c1
>c1$class_ids
>table(predict(c1),dcom$clas)
模糊聚类
1、FCM算法
FCM(Fuzzy C-Means)算法是一个模糊聚类算法，不同于硬划分，模糊聚类方法是一个软划分。对于模糊集来说，一个数据点都是以一定程度属于某个类，也可以同时以不周的程度属于几个类。
主要函数：
fanny()
准备工作：
>library(cluster)
实例：
>z=rbind(cbind(rnorm(100,0,0.5),rnorm(100,0,0.5)),cbind(rnorm(150,5,0.5),rnorm(150,5,0.5),cbind(rnorm(300,3.2,0.5),rnorm(300,3.2,0.5))))
>z
>fannyz=fanny(z,3,metric="SqEuclidean")
>summary(fannyz)
>plot(fannyz,main="模糊算法聚类图")
参考文献
方匡南. 基于数据挖掘的分类和聚类算法研究及R语言实现[D]. 暨南大学, 2007.
