# -*- coding: utf-8 -*- """ 使用python程序模拟KNN算法 Created on Sat Jun 22 18:38:22 2019 @author: zhen """ import numpy as np import collections as cs data = np.array([ [203,1],[126,1],[89,1],[70,1],[196,2],[211,2],[221,2],[311,3],[271,3] ]) feature = data[:,0] # 特征 print(feature) label = data[:,-1] # 结果分类 print(label) predictPoint = 200 # 预测数据 print("预测输入特征为:" + str(predictPoint)) distance = list(map(lambda x : abs(predictPoint - x), feature)) # 各点到预测点的距离 print(distance) sortIndex = np.argsort(distance) # 排序,返回排序后各数据的原始下标 print(sortIndex) sortLabel = label[sortIndex] # 根据下标重新进行排序 print(sortLabel) # k = 3 # 设置k值大小为3 for k in range(1,label.size+1): result = cs.Counter(sortLabel[0:k]).most_common(1)[0][0] # 根据k值计算前k个数据中出现次数最多的分类,即为预测的分类 print("当k=" + str(k) + "时预测分类为:" + str(result))
[203 126 89 70 196 211 221 311 271] [1 1 1 1 2 2 2 3 3] 预测输入特征为:200 [3, 74, 111, 130, 4, 11, 21, 111, 71] [0 4 5 6 8 1 2 7 3] [1 2 2 2 3 1 1 3 1] 当k=1时预测分类为:1 当k=2时预测分类为:1 当k=3时预测分类为:2 当k=4时预测分类为:2 当k=5时预测分类为:2 当k=6时预测分类为:2 当k=7时预测分类为:1 当k=8时预测分类为:1 当k=9时预测分类为:1
1.根据训练数据和结果可知,当k较小时【比如本次当k=1】,若训练数据存在异常数据时容易出现预测错误的情况,因此一般K值都不能太小!
2.当k值较大时,某个分类的训练数据越多,预测成此分类的可能性越大,因此,训练数据要先根据分类进行再平衡!
3.一般k值的选择与分类数量有关,分类数量越大,k一般也越大,一般为取值为:k~2k之间!
原文:https://www.cnblogs.com/yszd/p/11070192.html