《机器学习实战》学习笔记一K邻近算法

　  一、　K邻近算法思想：存在一个样本数据集合，称为训练样本集，并且每个数据都存在标签，即我们知道样本集中每一数据（这里的数据是一组数据，可以是n维向量）与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征（向量的每个元素）与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似的的分类标签。由于样本集可以很大，我们选取前k个最相似数据，然后统计k个数据中出现频率最高的标签为新数据的标签。

　　K邻近算法的一般流程：

　　（1）收集数据：可以是本地数据，也可以从网页抓取。

　　（2）准备数据：将数据结构化，方便操作。

　　（3）分析数据：可以使用任何方法。

　　（4）训练算法：此步骤不适用于k邻近算法。

　　（5）测试算法：计算错误率；计算公式：错误率=测试出错次数/总测试次数

　　（6）使用算法：输入样本数据，输出结构化的结果，判断新数据属于哪个分类。

　　二、使用K近邻算法的一个例子

　　我使用的是spyder的开发环境，python的版本是3.5，spyder自带了numpy函数库。新建一个KNN.py文件，在本文件中完成本章实验。

　　在KNN中写一个数据生成函数：

 from numpy import *

 import operator

 def createDataset():

     group = array([[1.0,1.1],[1.0,1.0],[0.0,0.0],[0.0,0.1]])

     labels = ['A','A','B','B']

     return group,labels

　　在spyder中输入 ：

　　>>> import KNN

　　>>>group,labels = KNN.createDataSet()

　　>>>group

　　array([[ 1. , 1.1],
　　　　　[ 1. , 1. ],
　　　　　[ 0. , 0. ],
　　　　　[ 0. , 0.1]])

　　>>>labels

　　['A', 'A', 'B', 'B']

　　出现以上提示则说明函数正确。

　　三、K近邻算法函数

　　

 def classify(inX,dataset,labels,k):

     dataSetSize = dataset.shape[0]

     diffMat = tile(inX,(dataSetSize,1))-dataset

     sqDiffMat = diffMat**2

     sqDistances = sqDiffMat.sum(axis=1)

     distances = sqDistances**0.5

     sortedDistIndicies = distances.argsort()

     classCount ={}

     for i in range(k):

         voteIlabel = labels[sortedDistIndicies[i]]

         classCount[voteIlabel] = classCount.get(voteIlabel,0)+1

     sortedClassCount = sorted(classCount.items(),

                               key=operator.itemgetter(1),reverse=True)

     return sortedClassCount[0][0]

　　验证：在spyder中输入

　　>>> KNN.classify([0,0],group,labels,3)

　　输出结果应该为'B'。

　　四、例子：约会网站匹配改进

　　海伦收集约会数据已经有一段时间，她把这些数据放在文本文件datingdata.txt中，每个样本数据占据一行，共有1000行（她可能约会过1000个人，太可怕了^_^）,每个样本主要包括以下3中特征：

　　1、每年获得的飞行常客里程数

　　2、玩视频游戏所耗的时间百分数

　　3、每周消费的冰激凌公升数

　　上述数据保存在文本文件中，数据之间以空格间隔，在数据输入分类器之前，必须将待处理数据改变为分类器可以处理的数据，在KNN中创建名为file2matrix的函数，进行数据处理。

 def file2matrix(filename):

     fr = open(filename,'r')

     arrayOLines = fr.readlines()

     numberOfLines = len(arrayOLines)

     returnMat = zeros((numberOfLines,3))

     classLabelVector = []

     index = 0

     for line in arrayOLines:

         line = line.strip()

         listFromLine = line.split('\t')

         returnMat[index,:] = listFromLine[0:3]

         classLabelVector.append(int(listFromLine[-1]))

         index += 1

     return returnMat,classLabelVector

 retarnmat,classlabelvector = file2matrix('datingdata.txt')

　　在我运行这段程序，总是出现错误提示：could not convert string to float: '12 34 56',对于这个问题，我的改法是将文本中数据间的空格改为','并将

listFromLine = line.split('\t')改为

listFromLine = line.split(',')
这样就可以解决问题，但是不是最好的方法，还需要改进。

《机器学习实战》学习笔记一K邻近算法的相关教程结束。