（本文仅用于个人学习，大部分来源于上课ppt）
非参数估计能处理任意的概率分布，而无需假设密度函数，主要的方法有直方图估计,K-NN,parzen窗估计。非参数估计的主要思想是，向量落入一个区域R的概率P为
其中直方图估计是最简单的一种：
1. 把x的每个分量分成k 个等间隔小窗，（ x∈Ed ，则形成kd 个小舱）
2. 统计落入各个小舱内的样本数qi
3. 相应小舱的概率密度为： qi /(NV )（ N ：样本 总数，V ：小舱体积）
原理：
假设N个样本的集合X={x1,x2,x3,x4...}是根据概率密度P(x)的分布独立抽取到的，那么K个样本落入区域R的概率服从二项分布：
K的期望值是E(k) = NP 对P的估计
N趋于∞大时，非常准确
假设p(x)是连续的，且R足够小使得p(x)在R内几乎没有变化。令R是包含样本点x的一个区域，其体积为V，设有N个训练样本，其中有k落在区域R中，则可对概率密度作出一个估计：
要求估计的概率密度函数收敛到真实值
必须满足
1.随着样本数的增加，小舱体积应该尽可能小，
2.同时又能保证小舱内有充分多的样本，
3.但每个小舱内的样本数又必须是总样本数中很小的一部分
Parzen窗估计
首先需要选择窗函数，Parzen窗估计过程是一个内插过程，样本xi距离x越近，对概率密度估计的贡献越大，越远贡献越小。
只要满足如下条件，就可以作为窗函数：
方窗函数：
正太分布窗函数：
指数窗函数：
其中
Parzen估计的性能与窗宽参数hn紧密相关当hn较大时，x和中心xi距离大小的影响程度变弱，估计的p(x)较为平滑，分辨率较差。当hn较小时，x和中心xi距离大小的影响程度变强，估计的p(x)较为尖锐，分辨率较好。
Parzen窗密度估计的渐近收敛性：
渐进无偏性：
一致性：
简单的例子：对于一个二类（ ω1 ，ω2 ）识别问题，随机抽取ω1类的6个样本X=(x1，x2，…. x6) ω1=(x1，x2，…. x6) =(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1) 估计P(x|ω1)即PN(x)：
选择正太分布窗函数
因为样本时一维的
简单的代码实现：
import numpy as np
import matplotlib.pyplot as plt
from pandas import Series
data = np.sort(np.array( [3.2,3.6,3,6,2.5,1.1]))
hi = 0.5/np.sqrt(6)
N = 6
hn = hi/np.sqrt(N)
Vn = hn
a = np.zeros(6)
i = 0
for x in data:
k = 0
for xi in data:
k = (1/np.sqrt(2*np.pi))*np.exp(-0.5*(np.square(np.abs(x-xi)/hn)))+k
a[i] = k/(Vn*N)
i = i+1
obj = Series(a,index=data)
obj.plot()
plt.show()
由图看出，每个样本对估计的贡献与样本间的距离有关，样本越多，PN(x)越准确。
