高斯混合模型聚类
高斯混合模型详解
聚类的方法有很多种，k-means要数最简单的一种聚类方法了，其大致思想就是把数据分为多个堆，每个堆就是一类。每个堆都有一个聚类中心（学习的结果就是获得这k个聚类中心），这个中心就是这个类中所有数据的均值，而这个堆中所有的点到该类的聚类中心都小于到其他类的聚类中心（分类的过程就是将未知数据对这k个聚类中心进行比较的过程，离谁近就是谁）。其实k-means算的上最直观、最方便理解的一种聚类方式了，原则就是把最像的数据分在一起，而“像”这个定义由我们来完成，比如说欧式距离的最小，等等。想对k-means的具体算法过程了解的话，请看这里。而在这篇博文里，我要介绍的是另外一种比较流行的聚类方法----GMM（Gaussian Mixture Model）。
GMM和k-means其实是十分相似的，区别仅仅在于对GMM来说，我们引入了概率。说到这里，我想先补充一点东西。统计学习的模型有两种，一种是概率模型，一种是非概率模型。所谓概率模型，就是指我们要学习的模型的形式是P(Y|X)，这样在分类的过程中，我们通过未知数据X可以获得Y取值的一个概率分布，也就是训练后模型得到的输出不是一个具体的值，而是一系列值的概率（对应于分类问题来说，就是对应于各个不同的类的概率），然后我们可以选取概率最大的那个类作为判决对象（算软分类soft assignment）。而非概率模型，就是指我们学习的模型是一个决策函数Y=f(X)，输入数据X是多少就可以投影得到唯一的一个Y，就是判决结果（算硬分类hard assignment）。回到GMM，学习的过程就是训练出几个概率分布，所谓混合高斯模型就是指对样本的概率密度分布进行估计，而估计的模型是几个高斯模型加权之和（具体是几个要在模型训练前建立好）。每个高斯模型就代表了一个类（一个Cluster）。对样本中的数据分别在几个高斯模型上投影，就会分别得到在各个类上的概率。然后我们可以选取概率最大的类所为判决结果。
得到概率有什么好处呢？我们知道人很聪明，就是在于我们会用各种不同的模型对观察到的事物和现象做判决和分析。当你在路上发现一条狗的时候，你可能光看外形好像邻居家的狗，又更像一点点女朋友家的狗，你很难判断，所以从外形上看，用软分类的方法，是女朋友家的狗概率51%，是邻居家的狗的概率是49%，属于一个易混淆的区域内，这时你可以再用其它办法进行区分到底是谁家的狗。而如果是硬分类的话，你所判断的就是女朋友家的狗，没有“多像”这个概念，所以不方便多模型的融合。
从中心极限定理的角度上看，把混合模型假设为高斯的是比较合理的，当然也可以根据实际数据定义成任何分布的Mixture Model,不过定义为高斯的在计算上有一些方便之处，另外，理论上可以通过增加Model的个数，用GMM近似任何概率分布。
混合高斯模型的定义为：
其中K为模型的个数，πk为第k个高斯的权重，则为第k个高斯的概率密度函数，其均值为μk，方差为σk。我们对此概率密度的估计就是要求πk、μk和σk各个变量。当求出的表达式后，求和式的各项的结果就分别代表样本x属于各个类的概率。
在做参数估计的时候，常采用的方法是最大似然。最大似然法就是使样本点在估计的概率密度函数上的概率值最大。由于概率值一般都很小，N很大的时候这个联乘的结果非常小，容易造成浮点数下溢。所以我们通常取log，将目标改写成：
也就是最大化log-likelyhood function，完整形式则为：
一般用来做参数估计的时候，我们都是通过对待求变量进行求导来求极值，在上式中，log函数中又有求和，你想用求导的方法算的话方程组将会非常复杂，所以我们不好考虑用该方法求解（没有闭合解）。可以采用的求解方法是EM算法——将求解分为两步：第一步是假设我们知道各个高斯模型的参数（可以初始化一个，或者基于上一步迭代结果），去估计每个高斯模型的权值；第二步是基于估计的权值，回过头再去确定高斯模型的参数。重复这两个步骤，直到波动很小，近似达到极值（注意这里是个极值不是最值，EM算法会陷入局部最优）。具体表达如下：
1、对于第i个样本xi来说，它由第k个model生成的概率为：
在这一步，我们假设高斯模型的参数和是已知的（由上一步迭代而来或由初始值决定）。
（E step）
（M step）
3、重复上述两步骤直到算法收敛（这个算法一定是收敛的，至于具体的证明请回溯到EM算法中去，而我也没有具体关注，以后补上）。
最后总结一下，用GMM的优点是投影后样本点不是得到一个确定的分类标记，而是得到每个类的概率，这是一个重要信息。GMM每一步迭代的计算量比较大，大于k-means。GMM的求解办法基于EM算法，因此有可能陷入局部极值，这和初始值的选取十分相关了。GMM不仅可以用在聚类上，也可以用在概率密度估计上。
第二篇：高斯混合模型的介绍
高斯模型就是用高斯概率密度函数（正态分布曲线）精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。对图像背景建立高斯模型的原理及过程：图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以以为是图像灰度概率密度的估计。如果图像所包含的目标区域和背景区域相差比较大，且背景区域和目标区域在灰度上有一定的差异，那么该图像的灰度直方图呈现双峰-谷形状，其中一个峰对应于目标，另一个峰对应于背景的中心灰度。对于复杂的图像，尤其是医学图像，一般是多峰的。通过将直方图的多峰特性看作是多个高斯分布的叠加，可以解决图像的分割问题。在智能监控系统中，对于运动目标的检测是中心内容，而在运动目标检测提取中，背景目标对于目标的识别和跟踪至关重要。而建模正是背景目标提取的一个重要环节。
我们首先要提起背景和前景的概念，前景是指在假设背景为静止的情况下，任何有意义的运动物体即为前景。建模的基本思想是从当前帧中提取前景，其目的是使背景更接近当前视频帧的背景。即利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景,但是由于光照突变以及其他外界环境的影响，一般的建模后的背景并非十分干净清晰，而高斯混合模型(GMM，Gaussian mixture model)是建模最为成功的方法之一，同时GMM可以用在监控视频索引与检索。
混合高斯模型使用K（基本为3到5个）个高斯模型来表征图像中各个像素点的特征,在新一帧图像获得后更新混合高斯模型,用当前图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点,否则为前景点。通观整个高斯模型，他主要是由方差和均值两个参数决定，对均值和方差的学习,采取不同的学习机制,将直接影响到模型的稳定性、精确性和收敛性。由于我们是对运动目标的背景提取建模，因此需要对高斯模型中方差和均值两个参数实时更新。为提高模型的学习能力,改进方法对均值和方差的更新采用不同的学习率;为提高在繁忙的场景下,大而慢的运动目标的检测效果,引入权值均值的概念,建立背景图像并实时更新,然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类。具体更新公式如下：
得最有可能的模型。
多维高斯分布讲解
高斯分布
高斯分布：1维高斯分布公式：
多维高斯分布公式：
对于1维的来说是期望，是方差；对于多维来说D表示X的维数，表示D*D的协方差矩阵，定义为
，为该协方差的行列式的值。
代码如下：
m=[01]'; S=eye(2);
x1=[0.2 1.3]'; x2=[2.2 -1.3]';
pg1=comp_gauss_dens_val(m,S,x1)
pg2=comp_gauss_dens_val(m,S,x2)
其中comp_gauss_dens_val函数文件的代码如下：
function [z]=comp_gauss_dens_val(m,S,x)
[l,c]=size(m);
z=(1/( (2*pi)^(l/2)*det(S)^0.5) )*exp(-0.5*(x-m)'*inv(S)*(x-m));
题目大致意思就是判断x是属于w1还是w2？
代码如下：
P1=0.5;
P2=0.5;
m1=[11]';
m2=[33]';
S=eye(2);
x=[1.81.8]';
p1=P1*comp_gauss_dens_val(m1,S,x)
p2=P2*comp_gauss_dens_val(m2,S,x)
题目大致意思就是：给出正态分布的期望和方差，构造出一些服从这个分布的数据点代码如下：
%Generate the first dataset (case #1)
randn('seed',0);
m=[0 0]';
S=[1 0;0 1];
N=500;
X=mvnrnd(m,S,N)';
%Plotthefirstdataset
figure(1),plot(X(1,:),X(2,:),'.');
figure(1),axisequal
figure(1),axis([-77-77])
% Generate and plot the second dataset (case #2)
m=[0 0]';
S=[0.2 0;0 0.2];
N=500;
X = mvnrnd(m,S,N)';
figure(2), plot(X(1,:),X(2,:),'.');
figure(2), axis equal
figure(2), axis([-7 7 -7 7])
% Generate and plot the third dataset (case #3)
m=[0 0]';
S=[2 0;0 2];
N=500;
X = mvnrnd(m,S,N)';
figure(3), plot(X(1,:),X(2,:),'.');
figure(3), axis equal
figure(3), axis([-7 7 -7 7])
% Generate and plot the fourth dataset (case #4) m=[0 0]';
S=[0.2 0;0 2];
N=500;
X = mvnrnd(m,S,N)';
figure(4), plot(X(1,:),X(2,:),'.');
figure(4), axis equal
figure(4), axis([-7 7 -7 7])
% Generate and plot the fifth dataset (case #5)
m=[0 0]';
S=[2 0;0 0.2];
N=500;
X = mvnrnd(m,S,N)';
figure(5), plot(X(1,:),X(2,:),'.');
figure(5), axis equal
figure(5), axis([-7 7 -7 7])
% Generate and plot the sixth dataset (case #6)
m=[0 0]';
S=[1 0.5;0.5 1];
N=500;
X = mvnrnd(m,S,N)';
figure(6), plot(X(1,:),X(2,:),'.');
figure(6), axis equal
figure(6), axis([-7 7 -7 7])
% Generate and plot the seventh dataset (case #7) m=[0 0]';
S=[.3 0.5;0.5 2];
N=500;
X = mvnrnd(m,S,N)';
figure(7), plot(X(1,:),X(2,:),'.');
figure(7), axis equal
figure(7), axis([-7 7 -7 7])
% Generate and plot the eighth dataset (case #8)
m=[0 0]';
S=[.3 -0.5;-0.5 2];
N=500;
X = mvnrnd(m,S,N)';
figure(8), plot(X(1,:),X(2,:),'.');
figure(8), axis equal
figure(8), axis([-7 7 -7 7])
即生成了8副图像
注：
1、协方差
在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。
期望值分别为E[X]与E[Y]的两个实数随机变量X与Y之间的协方差定义为：
直观上来看，协方差表示的是两个变量总体误差的期望。
如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值；如果两个变量的变化趋势相反，即其中一个变量大于自身的期望值时另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
如果X与Y是统计独立的，那么二者之间的协方差就是0，因为两个独立的随机变量满足E[XY]=E[X]E[Y]。
但是，反过来并不成立。即如果X与Y的协方差为0，二者并不一定是统计独立的。
协方差Cov(X,Y)的度量单位是X的协方差乘以Y的协方差。而取决于协方差的相关性，是一个衡量线性独立的无量纲的数。
协方差为0的两个随机变量称为是不相关的。
2、期望
定义1：
按照定义,离散随机变量的一切可能值与其对应的概率P的乘积之和称为数学期望,记为咐.如果随机变量只取得有限个值:x,、π
随机变量的数学期望值
在概率论和统计学中，一个离散性随机变量的期望值（或数学期望、或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。换句话说，期望值是随机试验在同样的机会下重复多次的结果计算出的等同“期望”的平均值。需要注意的是，期望值并不一定等同于常识中的“期望”——“期望值”也许与每一个结果都不相等。（换句话说，期望值是该变量输出值的平均数。期望值并不一定包含于变量的输出值集合里。）单独数据的数学期望值算法
对于数学期望的定义是这样的。数学期望
E(X) = X1*p(X1) + X2*p(X2) + …… + Xn*p(Xn)
X1,X2,X3,……,Xn为这几个数据，p(X1),p(X2),p(X3),……p(Xn)为这几个数据的概率函数。在随机出现的几个数据中p(X1),p(X2),p(X3),……p(Xn)概率函数就理解为数据X1,X2,X3,……,Xn出现的频率f(Xi).则：
E(X) = X1*p(X1) + X2*p(X2) + …… + Xn*p(Xn) = X1*f1(X1) + X2*f2(X2) + …… + Xn*fn(Xn)
很容易证明E(X)对于这几个数据来说就是他们的算术平均值。
3、浅谈协方差矩阵
今天看论文的时候又看到了协方差矩阵这个破东西，以前看模式分类的时候就特困扰，没想到现在还是搞不清楚，索性开始查协方差矩阵的资料，恶补之后决定马上记录下来，嘿嘿~本文我将用自认为循序渐进的方式谈谈协方差矩阵。
统计学的基本概念
学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。
均值：
标准差：
方差：
很显然，均值描述的是样本集合的中间点，它告诉我们的信息是很有限的，而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。以这两个集合为例，[0，8，12，20]和[8，9，11，12]，两个集合的均值都是10，但显然两个集合差别是很大的，计算两者的标准差，前者是8.3，后者是1.8，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”。之所以除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即统计上所谓的“无偏估计”{这个要用到统计学的知识，因为这个标准差是样本的标准差是对总体的估计，而对总体的估计的要求当中，有个标准是无偏性，除以n-1是无偏估计，而除以n不是。所以都用n-1，具体证明可参看数理统计的教材，}。
而方差则仅仅是标准差的平方。
为什么需要协方差？
上面几个统计量看似已经描述的差不多了，但我们应该注意到，标准差和方差一般是用来描述一维数据的，但现实生活我们常常遇到含有多维数据的数据集，最简单的大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，一个男孩子的猥琐程度跟他受女孩子欢迎程度是否存在一些联系啊，嘿嘿~协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义：
来度量各个维度偏离其均值的程度，标准差可以这么来定义：
协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的(从协方差可以引出“相关系数”的定义)，也就是说一个人越猥琐就越受女孩子欢迎，嘿嘿，那必须的~结果为负值就说明负相关的，越猥琐女孩子越讨厌，可能吗？如果为0，也是就是统计上说的“相互独立”。
从协方差的定义上我们也可以看出一些显而易见的性质，如：
协方差多了就是协方差矩阵
上一节提到的猥琐和受欢迎的问题是典型二维问题，而协方差也只能处理二维问题，那维数
多了自然就需要计算多个协方差，比如n维的数据集就需要计算个协方差，那自然而然的我们会想到使用矩阵来组织这些数据。给出协方差矩阵的定义：
这个定义还是很容易理解的，我们可以举一个简单的三维的例子，假设数据集有三个维度，则协方差矩阵为
可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。
Matlab协方差实战
上面涉及的内容都比较容易，协方差矩阵似乎也很简单，但实战起来就很容易让人迷茫了。必须要明确一点，协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。
这个我将结合下面的例子说明，以下的演示将使用Matlab，为了说明计算原理，不直接调
用Matlab的cov函数(蓝色部分为Matlab代码)。
首先，随机产生一个10*3维的整数矩阵作为样本集，10为样本的个数，3为样本的维数。1MySample = fix(rand(10,3)*50)
根据公式，计算协方差需要计算均值，那是按行计算均值还是按列呢，我一开始就老是困扰
这个问题。前面我们也特别强调了，协方差矩阵是计算不同维度间的协方差，要时刻牢记这
一点。样本矩阵的每行是一个样本，每列为一个维度，所以我们要按列计算均值。为了描述
方便，我们先将三个维度的数据分别赋值：
1dim1 = MySample(:,1);2dim2 = MySample(:,2);3dim3 = MySample(:,3);
计算dim1与dim2，dim1与dim3，dim2与dim3的协方差：
1sum( (dim1-mean(dim1)) .* (dim2-mean(dim2)) ) / ( size(MySample,1)-1 ) % 得
到74.53332sum( (dim1-mean(dim1)) .* (dim3-mean(dim3)) ) / ( size(MySample,1)-1 ) % 得到-10.08893sum( (dim2-mean(dim2)) .* (dim3-mean(dim3)) ) /
( size(MySample,1)-1 ) % 得到-106.4000
搞清楚了这个后面就容易多了，协方差矩阵的对角线就是各个维度上的方差，下面我们依次
计算：
1std(dim1)^2 % 得到108.32222std(dim2)^2 % 得到260.62223std(dim3)^2 % 得
到94.1778
这样，我们就得到了计算协方差矩阵所需要的所有数据，调用Matlab自带的cov函数进行
验证：
1cov(MySample)
把我们计算的数据对号入座，是不是一摸一样？
Update：今天突然发现，原来协方差矩阵还可以这样计算，先让样本矩阵中心化，即每一
维度减去该维度的均值，使每一维度上的均值为0，然后直接用新的到的样本矩阵乘上它的转置，然后除以(N-1)即可。其实这种方法也是由前面的公式通道而来，只不过理解起来不
是很直观，但在抽象的公式推导时还是很常用的！同样给出Matlab代码实现：
1X = MySample - repmat(mean(MySample),10,1); % 中心化样本矩阵，使各维度均值
为02C = (X'*X)./(size(X,1)-1);
总结
理解协方差矩阵的关键就在于牢记它计算的是不同维度之间的协方差，而不是不同样本之间，拿到一个样本矩阵，我们最先要明确的就是一行是一个样本还是一个维度，心中明确这个整个计算过程就会顺流而下，这么一来就不会迷茫了~
P.S.写论文要选Latex，在wordpress里编辑公式还得用Latex，用Latex还真对得起咱学计算机这张脸~
高斯混合模型实现——【机器学习与算法分析 精品资源池】
实验算法高斯混合模型实验 【实验名称】 高斯混合模型实验 【实验要求】 掌握高斯混合模型应用过程，根据模型要求进行数据预处理，建模，评价与应用； 【背景描述】 高斯混合模型（Gaussian Mixed Model）指的是多个高斯分布函数的线性组合，理论上GMM 可以拟合出任意类型的分布，通常用于解决同一集合下的数据包含多个不同的分布的情况。属于无监督机器学习，用于对结构化数据进行聚类。 【知识准备】 了解高斯混合模型的使用场景，数据标准。了解Python/Spark数据处理一般方法。了解spark 模型调用，训练以及应用方法 【实验设备】 Windows或Linux操作系统的计算机。部署Spark，Python，本实验提供centos6.8环境。【实验说明】 采用UCI机器学习库中的wine数据集作为算法数据，除去原来的类别号，把数据看做没有类别的样本，训练混合高斯模型，对样本进行聚类。 【实验环境】 Spark 2.3.1，Pyrhon3.X，实验在命令行pyspark中进行，或者把代码写在py脚本，由于本次为实验，以学习模型为主，所以在命令行中逐步执行代码，以便更加清晰地了解整个建模流程。【实验步骤】 第一步：启动pyspark： 1
命令行中键入pyspark --master local[4],本地模式启动spark与python： 第二步：导入用到的包，并读取数据： (1).导入所需的包 from pyspark import SparkContext, SQLContext, SparkConf from math import sqrt from pyspark.sql.functions import monotonically_increasing_id (2).读取数据源 df_wine = sc.textFile(u"file:/opt/algorithm/gaussianMixture/wine.txt").map( lambda x: str(x).split(",")).map(lambda x: [float(z) for z in x]) (3).数据转换为Data df_wine_rdd = sqlContext.createDataFrame(df_wine) (4).数据展示 df_wine_rdd.show() 1
混合高斯模型的简要介绍
混合高斯模型跟高斯变量之和看起来有一点像, 注意不要把它们弄混淆了. 混合高斯模型给出的概率密度函数实际上是几个高斯概率密度函数的加权和: 计算均值和方差的公式不仅适用于几个(多维)高斯分布混合的情况, 还适用于非高斯分布的情况. 高斯变量之和就没什么好说的了, 几个高斯变量之和是一个新的高斯变量. 原理: 高斯模型就是用高斯概率密度函数（正态分布曲线）精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。 对图像背景建立高斯模型的原理及过程：图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以认为是图像灰度概率密度的估计。如果图像所包含的目标区域和背景区域相比比较大，且背景区域和目标区域在灰度上有一定的差异，那么该图像的灰度直方图呈现双峰-谷形状，其中一个峰对应于目标，另一个峰对应于背景的中心灰度。对于复杂的图像，尤其是医学图像，一般是多峰的。通过将直方图的多峰特性看作是多个高斯分布的叠加，可以解决图像的分割问题。 在智能监控系统中，对于运动目标的检测是中心内容，而在运动目标检测提取中，背景目标对于目标的识别和跟踪至关重要。而建模正是背景目标提取的一个重要环节。 我们首先要提起背景和前景的概念，前景是指在假设背景为静止的情况下，任何有意义的运动物体即为前景。建模的基本思想是从当前帧中提取前景，其目的是使背景更接近当前视频帧的背景。即利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景,但是由于光照突变以及其他外界环境的影响，一般的建模后的背景并非十分干净清晰，而高斯混合模型是是建模最为成功的方法之一。 混合高斯模型使用K（基本为3到5个）个高斯模型来表征图像中各个像素点的特征,在新一帧图像获得后更新混合高斯模型, 用当前图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点, 否则为前景点。通观整个高斯模型，主要是有方差和均值两个参数决定，对均值和方差的学习，采取不同的学习机制,将直接影响到模型的稳定性、精确性和收敛性。由于我们是对运动目标的背景提取建模，因此需要对高斯模型中方差和均值两个参数实时更新。为提高模型的学习能力,改进方法对均值和方差的更新采用不同的学习率;为提高在繁忙的场景下,大而慢的运动目标的检测效果,引入权值均值的概念,建立背景图像并实时更新,然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类。 到这里为止，混合高斯模型的建模基本完成，我在归纳一下其中的流程，首先初始化预先定义的几个高斯模型，对高斯模型中的参数进行初始化，并求出之后将要用到的参数。其次，对于每一帧中的每一个像素进行处理，看其是否匹配某个模型，若匹配，则将其归入该模型中，并对该模型根据新的像素值进行更新，若不匹配，则以该像素建立一个高斯模型，初始化参数，代理原有模型中最不可能的模型。最后选择前面几个最有可能的模型作为背景模型，为背景目标提取做铺垫。 目前，运动物体检测的问题主要分为两类，摄像机固定和摄像机运动。对于摄像机运动的运动物体检测问题，比较著名的解决方案是光流法，通过求解偏微分方程求的图像序列的光流场，从而预测摄像机的运动状态。对于摄像机固定的情形，当然也可以用光流法，但是由于光流法的复杂性，往往难以实时的计算，所以我采用高斯背景模型。因为，在摄像机固定的情况下，背景的变化是缓慢的，而且大都是光照，风等等的影响，通过对背景建模，对一幅给定图像分离前景和背景，一般来说，前景就是运动物体，从而达到运动物体检测的目的。 单分布高斯背景模型单分布高斯背景模型认为，对一个背景图像，特定像素亮度的分布满足高斯分布，即对背景图像B，(x,y)点的亮度满足： IB (x,y) ~ N(u,d)
高斯分布背景模型原理
高斯分布背景模型原理 背景差分法的关键是背景图像的描述模型即背景模型，它是背景差分法分割运动前景的基础。背景模型主要有单模态和多模态两种，前者在每个背景像素点上的颜色分布比较集中，可以用单分布概率模型来描述，后者的分布则比较分散，需要用多分布概率模型来共同描述。在许多应用场景，如水面的波纹、摇摆的树枝，飘扬的红旗、监视器屏幕等，像素点的值都呈现出多模态特性。最常用的描述场景背景点颜色分布的概率密度模型（概率密度分布）是高斯分布（正态分布）。 1 单高斯分布背景模型 单高斯分布背景模型适用于单模态背景情形, 它为每个图象点的颜色建立了用单个高斯分布表示的模型) ,(,t t x N σμ其中下标t 表示时间。设图象点的当前颜色度量为t X ,若(,,)ttt p N X T μσ ≤ (这里p T 为概率阈值) , 则该点被判定为前景点, 否则为背景点(这时又称t X 与) ,(,t t x N σμ相匹配)。 在常见的一维情形中, 以t σ表示均方差, 则常根据/t t d σ的取值 设置前景检测阈值：若/t t d T σ>，则该点被判定为前景点, 否则为背 景点。 单高斯分布背景模型的更新即指各图象点高斯分布参数的更新。引入表示更新快慢的常数——更新率α， 则该点高斯分布参数的更新可表示为 1(1)t t t d μαμα+=-?+? （1）
21(1)t t t d σασα+=-?+? （2） 单高斯背景模型能处理有微小变化与慢慢变化的简单场景，当较复杂场景背景变化很大或发生突变，或者背景像素值为多峰分布（如微小重复运动）时，背景像素值的变化较快，并不是由一个相对稳定的单峰分布渐渐过度到另一个单峰分布，这时单高斯背景模型就无能为力，不能准确地描述背景了。]1[ 2 混合高斯分布背景模型 与单高斯背景模型不同，混合高斯背景模型对每个像素点用多个高斯模型混合表示。设用来描述每个像素的高斯分布共K 个（K 通常取 3—5个），象素uv Z 的概率函数： ,,,1()(,,)K u v j u v u v j u v j u v j P Z N Z ωμ ==∑∑ 其中,j uv ω是第j 个高斯分布的权值， 背景建模和更新过程（仅针对单个像素）： 1.初始化：第一个高斯分布用第一帧图像该点的像素值作为均值或前N 帧图像该点的像素值的平均值作为均值，并对该高斯分布的权值取较大值（比其它几个高斯分布大）。其余的高斯分布的均值均为0，权重相等，所有高斯函数的方差取相等的较大值。 2.权值归一化 3.选取背景
高斯混合模型聚类
高斯混合模型详解 聚类的方法有很多种，k-means要数最简单的一种聚类方法了，其大致思想就是把数据分为多个堆，每个堆就是一类。每个堆都有一个聚类中心（学习的结果就是获得这k个聚类中心），这个中心就是这个类中所有数据的均值，而这个堆中所有的点到该类的聚类中心都小于到其他类的聚类中心（分类的过程就是将未知数据对这k个聚类中心进行比较的过程，离谁近就是谁）。其实k-means算的上最直观、最方便理解的一种聚类方式了，原则就是把最像的数据分在一起，而“像”这个定义由我们来完成，比如说欧式距离的最小，等等。想对k-means的具体算法过程了解的话，请看这里。而在这篇博文里，我要介绍的是另外一种比较流行的聚类方法----GMM（Gaussian Mixture Model）。 GMM和k-means其实是十分相似的，区别仅仅在于对GMM来说，我们引入了概率。说到这里，我想先补充一点东西。统计学习的模型有两种，一种是概率模型，一种是非概率模型。所谓概率模型，就是指我们要学习的模型的形式是P(Y|X)，这样在分类的过程中，我们通过未知数据X可以获得Y取值的一个概率分布，也就是训练后模型得到的输出不是一个具体的值，而是一系列值的概率（对应于分类问题来说，就是对应于各个不同的类的概率），然后我们可以选取概率最大的那个类作为判决对象（算软分类soft assignment）。而非概率模型，就是指我们学习的模型是一个决策函数Y=f(X)，输入数据X是多少就可以投影得到唯一的一个Y，就是判决结果（算硬分类hard assignment）。回到GMM，学习的过程就是训练出几个概率分布，所谓混合高斯模型就是指对样本的概率密度分布进行估计，而估计的模型是几个高斯模型加权之和（具体是几个要在模型训练前建立好）。每个高斯模型就代表了一个类（一个Cluster）。对样本中的数据分别在几个高斯模型上投影，就会分别得到在各个类上的概率。然后我们可以选取概率最大的类所为判决结果。 得到概率有什么好处呢？我们知道人很聪明，就是在于我们会用各种不同的模型对观察到的事物和现象做判决和分析。当你在路上发现一条狗的时候，你可能光看外形好像邻居家的狗，又更像一点点女朋友家的狗，你很难判断，所以从外形上看，用软分类的方法，是女朋友家的狗概率51%，是邻居家的狗的概率是49%，属于一个易混淆的区域内，这时你可以再用其它办法进行区分到底是谁家的狗。而如果是硬分类的话，你所判断的就是女朋友家的狗，没有“多像”这个概念，所以不方便多模型的融合。 从中心极限定理的角度上看，把混合模型假设为高斯的是比较合理的，当然也可以根据实际数据定义成任何分布的Mixture Model,不过定义为高斯的在计算上有一些方便之处，另外，理论上可以通过增加Model的个数，用GMM近似任何概率分布。 混合高斯模型的定义为： 其中K为模型的个数，πk为第k个高斯的权重，则为第k个高斯的概率密度函数，其均值为μk，方差为σk。我们对此概率密度的估计就是要求πk、μk和σk各个变量。当求出的表达式后，求和式的各项的结果就分别代表样本x属于各个类的概率。
混合高斯模型算法原理
混合高斯模型算法原理 混合高斯模型是一种经典的背景建模算法，用于背景相对稳定情况下的运动目标检测。它由单高斯模型发展而来，对于多模态的背景有一定的鲁棒性，如：树叶晃动、水纹波动等。在介绍混合高斯模型前，首先介绍单高斯模型。 1. 单高斯背景模型： 单高斯模型将图像中每一个像素点的颜色值看成是一个随机过程，并假设该点的像素值出现的概率服从高斯分布。该算法的基本原理就是对每一个像素位置建立一个高斯模型，模型中保存该处像素的均值和方差。如，可设),(y x 处像素的均值为),(y x u ，方差为),(2y x σ，标准差为),(y x σ。由于随着视频图像序列的输入，模型参数不断更新，所以不同时刻模型参数有不同的值，故可将模型参数表示为三个变量t y x ,,的函数：均值),,(t y x u 、方差),,(2t y x σ、标准差),,(t y x σ。用单高斯模型进行运动检测的基本过程包括：模型的初始化、更新参数并检测两个步骤。 1）模型初始化 模型的初始化即对每个像素位置上对应的高斯模型参数进行初始化，初始化采用如下公式完成： ?? ???===init std y x init std y x y x I y x u _)0,,(_)0,,()0,,()0,,(22σσ （1） 其中，)0,,(y x I 表示视频图像序列中的第一张图像),(y x 位置处的像素值，init std _为一个自己设的常数，如可设20_=init std 。 2）更新参数并检测 每读入一张新的图片，判断新图片中对应点像素是否在高斯模型描述的范围中，如是，则判断该点处为背景，否则，判断该点处为前景。假设前景检测的结 果图为out put ，其中在t 时刻),(y x 位置处的像素值表示为),,(t y x output ，),,(t y x output 的计算公式如下： ???-?<--=otherwise t y x t y x u t y x I t y x output ,1)1,,()1,,(),,(,0),,(σλ （2） 其中，λ是自己设的一个常数，如可设5.2=λ。以上公式表示的含义是：若新的图片中相应位置的像素值与对应模型中像素的均值的距离小于标准差的λ倍，则该点为背景，否则为前景。 模型的更新采用如下公式： ?? ???=-?+-?-=?+-?-=),,(),,()],,(),,(I [)1,,()1(),,(),,()1,,()1(),,(2222t y x t y x t y x u t y x t y x t y x t y x u t y x u t y x u σσασασαα （3） 其中，参数α表示更新率，也是自己设的一个常数，该常数的存在可以使得模型在背景的缓慢变化时具有一定的鲁棒性，如光照的缓慢变亮或变暗等。
混合高斯背景建模与更新
计算机学院专业实习报告专业名称计算机科学与技术 实习题目基于多摄像机协同的运动对象分割与三维重建系统之背景建模与运动前景分割 姓名李林 班级10010804 学号2008302499 实习时间 指导教师杨涛Northwestern Polytechnical University
2010年7月14日 目录 摘要 (1) 第一章基本原理 (2) 1.1高斯模型原理 (2) 1.2 混合高斯背景建模与更新 (3) 1.2.1 背景训练 (4) 1.2.2 模板匹配 (4) 1.2.3背景更新 (5) 第二章运动物体提取 (6) 2.1目标提取概述 (6) 2.2 提取过程 (6) 2.2.1 参数设置 (6) 2.2.2 模型建立 (7) 2.2.3 背景学习 (7) 2.2.4 模板匹配与背景更新 (9) 第3章其他增强效果算法 (10) 3.1阴影的检测和去除 (10) 3.1.1 阴影简介 (10) 3.1.2 阴影检测法 (11) 3.1.2 阴影去除 (13) 3.2形态学滤波 (14) 3.2.1 图像腐蚀与膨胀 (15) 3.2.2 开运算和闭运算 (16) 第四章最终成品 (18) 4.1 成品说明 (18) 4.1.1性能说明 (18) 4.1.2成品样式 (19) 4.1.3使用说明 (19) 第五章实习心得 (19)
摘要 背景建模与运动前景分割是指从视频或者连续的图像序列中将运动的区域分割出来，本次实行所需的运动物体提取只是用来为后面的形成3维图形提供图像数据，日常生活中视频监控系统已广泛应用于各大公共场所，如公司，机场，酒店等都备有监控系统。但对于大多数监控系统来说，都需要监控者保持对监控录像的观测。如何实现视频监控系统的自动监控，是近年来比较关注的问题。自动视频监控技术其主要内容之一就是能监视某一特定场景中的新目标的出现，首先检测视频序列图像中是否有变化，如图像变化，说明有新目标出现，则把这个目标从视频图像序列中分割提取出来，为下一步的目标识别和跟踪提取数据提供基础。因此，一个视频监控系统的好坏，运动目标能否良好的提取是非常关键的。 目前运动目标的提取已经取得很多成果，并且不断有新技术、新方法出现。但是，在实际应用中，由于自然环境复杂，目标机动性高，使得提取与跟踪时干扰因素多，提取不准确且匹配效率不高。要提高跟踪的精度需要对复杂环境下的目标提取和跟踪进行研究，但到目前为止，仍没有一种普遍适用、比较完善的方法，因此对这两方面作进一步研究仍有很大空间。 针对本次实习的特殊场景，经分析决定采用混合高斯模型对运动图像进行提取，弥补单高斯模型不能适应背景微变化的这一缺陷，例如光照明暗、阴影等变化。利用混合高斯模型对输入的视频进行学习，之后再对运动物体进行前景提取，形成二值图像，运动物体置为白色，背景值为黑色，由于在提取过程中会存在这一些噪声点，所以最后运用腐蚀与膨胀运算对图像进行去噪处理。最终设计完形成的图像预计效果为能基本提取出运动物体，可能遇到较为复杂的背景会存在一定的噪声。 目前，从现有的测试数据来看程序能基本提取出运动物体，基本达到了预定的效果，在设计之中起初运用了帧间差分法，测试数据背景较为简单时能基本提取前景，但换成了光照发生变化的背景后运动物体的提取有明显难以改善的噪声，之后考虑更改算法，现有的算法中，光流法效果较为明显，但其算法较为复杂，不适合本次实习的开发，其次较为合适的还有单高斯模型，但其由于在变化的场景中表现
纵向数据中线性混合模型的估计与检验
纵向数据中线性混合模型的估计与检验 【摘要】：在对社会学,生物学,经济学以及农业等学科的连续性纵向数据研究时,线性混合效应模型是很受欢迎的研究工具。这是因为模型中随机效应和误差的分布往往假设为正态分布,这样我们就可以很方便的使用极大似然估计方法(MLE)或者限制极大似然估计方法(RMLE)来研究模型中的参数性质。特别地,人们可以使用SAS,R等统计软件直接分析数据。然而,随着对线性混合模型研究的深入,人们发现实际数据中正态性假设并不完全成立,特别是随机效应的正态性假设更值得怀疑。如何检验模型中的分布的正态性,以及拒绝正态性假设后,如何估计模型参数,研究随机效应和误差的局部性质是本文要研究的问题。在论文的第一部分,我们将研究线性混合效应模型中随机效应的正态性假设。在文献中,基于经验特征函数,Epps＆Pulley(1983)提出了对一维随机变量的正态性假设的拟和检验,Baringhaus＆Henze(1988)解决了多维随机向量的正态性检验问题,与此类似的检验被统计学家统称为BHEP检验。这里,我们推广HenzeWanger(1997)提出的BHEP检验方法来构造我们的检验统计量。因为模型中随机效应是不可观测的,我们只有使用相应的最优线性无偏预测(BLUP)。研究发现,文中的检验统计量在原假设下渐近收敛于一个零均值的高斯过程,并且对以参数速度收敛到原假设的被择分布特别敏锐。因为极限高斯过程不易用来模拟检验统计量的临界值,我们提出了条件蒙特卡洛模拟方法(CMCT)。为了直观的研究我们的检验统计量的功效,我
们给出了不同分布假设下,检验的p-值,并与文献中已有的两种检验方法作了比较。此外,我们还进行的了一些实际数据分析。经过上述检验方法分析实际数据,我们发现正态性假设确实不完全成立。在论文的余下部分,我们来研究非正态假设下如何估计模型的未知参数,以及研究随机效应和误差的局部性质,也就是估计它们的一些高阶矩,文中我们主要研究了前四阶矩的非参数估计。首先,当模型中的随机效应是一维的并且其协变量都是1时,我们利用模型的特征构造了前四阶矩的估计方程,而后给出相应的非参数估计。通过对所有估计的渐近性质的研究,我们发现,如果每组实验的次数也能足够多时,我们的估计拥有最小的渐近方差。在这种意义上说,我们的方法优于第一个研究此问题的文献Cox＆Hall(2002)提出的估计方法。此外,在他们的模型下,我们也可以从另一个角度更简单的构造他们的估计方程。通过一些简单的模拟,也证实了我们的估计方法的优越性,特别是对误差的高阶矩的估计。但是,无论我们的估计方法或者他们的都很难推广到更高阶矩的估计或者随机效应为多维时更一般的情形。正如Jiang(2006)所说的那样,对于这种一般的模型,我们很难建立估计方程。为了解决这个问题,我们提出了一个简单的矩估计方法。主要推导工具是矩阵中Kronecker乘积,矩阵拉直运算以及数学期望。我们研究了随机效应和误差的前四阶矩估计的渐近性质,并给出了简单的模拟结果。比较上述两种估计法,我们发现:当随机效应是一维的时侯,误差的各阶矩的估计不依赖不可观测的随机效应,随机效应的估计也不依赖误差,因此,估计的渐近方差结构特别简单也是最优的;而当随机
混合高斯背景建模matlab代码
clear all % source = aviread('C:\Video\Source\traffic\san_fran_traffic_30sec_QVGA'); source = mmreader('SampleVideo.avi'); frameQYT=get(source,'NumberOfFrames'); % ----------------------- frame size variables ----------------------- fr = read(source,1); % 读取第一帧作为背景 fr_bw = rgb2gray(fr); % 将背景转换为灰度图像 fr_size = size(fr); %取帧大小 width = fr_size(2); height = fr_size(1); fg = zeros(height, width); bg_bw = zeros(height, width); % --------------------- mog variables ----------------------------------- C = 4; % 组成混合高斯的单高斯数目(一般3-5) M = 0; % 组成背景的数目 D = 2.5; % 阈值（一般2.5个标准差） alpha = 0.01; % learning rate 学习率决定更新速度(between 0 and 1) (from paper 0.01) thresh = 0.75; % foreground threshold 前景阈值(0.25 or 0.75 in paper) sd_init = 6; % initial standard deviation 初始化标准差(for new components) var = 36 in paper w = zeros(height,width,C); % initialize weights array 初始化权值数组 mean = zeros(height,width,C); % pixel means 像素均值 sd = zeros(height,width,C); % pixel standard deviations 像素标准差 u_diff = zeros(height,width,C); % difference of each pixel from mean 与均值的差p = alpha/(1/C); % initial p variable 参数学习率(used to update mean and sd) rank = zeros(1,C); % rank of components (w/sd) % ------initialize component means and weights 初始化均值和权值---------- pixel_depth = 8; % 8-bit resolution 像素深度为8位 pixel_range = 2^pixel_depth -1; % pixel range 像素范围2的7次方0—255（# of possible values) for i=1:height for j=1:width for k=1:C mean(i,j,k) = rand*pixel_range; % means random (0-255之间的随机数) w(i,j,k) = 1/C; % weights uniformly dist sd(i,j,k) = sd_init; % initialize to sd_init end end
混和高斯模型的推导和实现
基于GMM 的运动目标检测方法研究 一、GMM 数学公式推导 1、预备知识： （1）设离散型随机变量X 的分布率为： {} 2,1,P ===k p a X k k 则称()∑= k k k p a X E 为X 的数学期望或均值 （2）设连续型随机变量X 的概率密度函数（PDF ）为f(x) 其数学期望定义为：()()dx x xf X E ? +∞ ∞ -= （3）()()()[] 2 X E X E X D -=称为随机变量x 的方差，()X D 称为X 的标准差 （4）正态分布：() 2,~σμN X 概率密度函数为：()()??????? ?--= 22221 σμσ πx e x p （5）设(x,y)为二维随机变量，()[]()[]{}Y E Y X E X E --若存在，则 称其为X 和Y 的协方差，记为cov(x,y) ()()[]()[]{}()XY E Y E Y X E X E Y X =--=,cov 2、单高斯模型：SGM （也就是多维正态分布） 其概率密度函数PDF 定义如下： ()() ()()μμπμ--- -= x C x n T e C C x N 12 1 21 ,; 其中，x 是维数为n 的样本向量（列向量），μ是期望，C 是协方差矩阵，|C|表示C 的行列式，1-C 表示C 的逆矩阵，()T x μ-表示()μ-x 的转置。 3、混合高斯模型：GMM 设想有 m 个类：m 321????，，，， ，每类均服从正态分布。 各分布的中心点（均值）分别为：m 321μμμμ，，，，
方差分别为：m 321σσσσ，，，， 每一类在所有的类中所占的比例为 ()()()()m P P P P ????,,,,321 其中()11=∑=m i i P ?。 同时，已知 个观察点： 。其中，用大写P 表示概率，用小写p 表 示概率密度。 则依此构想，可得概率密度函数为： ()()()()()()()() ()()()μμπ??σμ?σμ?σμ--- =-∑ =?++?+?=x C x m i d i m m m T e C P P N P N P N x p 12 1 12221112,,, 其中d 是维数，|·|是行列式 但是在利用GMM 进行目标检测时，这些模型的参数可能已知，也可能不知道，当参数已知时，可以直接利用GMM 进行目标检测，在未知的情况下，需要对参数进行估计。对参数估计时，还要考虑样本分类是否已知。 （1）样本已知： 最大似然估计： 可以直接采用MLE （最大似然估计）进行参数估计： 未知量为集合：()()()m P P C C ??μμλ,,1m 1m 1 ，，，，，，= 将衡量概率密度函数优劣的标准写出：()()∏==n k k x P x p 1||λλ 即为： ()() () ()()i k T i k x C x n k m i d i e C P x p μμπ?λ--- ==-∏∑ =12 1 11 | |2| 只要定出该标准的最大值位置，就可以求出最优的待定参数。为了 求出这个最
什么是混合高斯模型
混合高斯模型 下面给出了matlab实现代码，并将数学表达式转化为矩阵运算 function varargout = gmm(X, K_or_centroids) % ============================================================ % Expectation-Maximization iteration implementation of % Gaussian Mixture Model. % % PX = GMM(X, K_OR_CENTROIDS) % [PX MODEL] = GMM(X, K_OR_CENTROIDS) % % - X: N-by-D data matrix. % - K_OR_CENTROIDS: either K indicating the number of % components or a K-by-D matrix indicating the % choosing of the initial K centroids. % % - PX: N-by-K matrix indicating the probability of each % component generating each point. % - MODEL: a structure containing the parameters for a GMM: % MODEL.Miu: a K-by-D matrix. % MODEL.Sigma: a D-by-D-by-K matrix. % MODEL.Pi: a 1-by-K vector. % ============================================================ threshold = 1e-15; [N, D] = size(X); if isscalar(K_or_centroids) K = K_or_centroids; % randomly pick centroids rndp = randperm(N); centroids = X(rndp(1:K), :); else K = size(K_or_centroids, 1); centroids = K_or_centroids; end % initial values [pMiu pPi pSigma] = init_params(); %初始化 Lprev = -inf; %inf表示正无究大，-inf表示为负无究大 while true Px = calc_prob();
【原创】R语言实现有限混合模型建模数据分析报告论文(附代码数据)
务（附代码数据）,咨询QQ：3025393450 有问题到百度搜索“大数据部落”就可以了 欢迎登陆官网：https://www.sodocs.net/doc/1b16648816.html,/datablog R语言实现有限混合模型建模分析 介绍 有限混合模型在应用于数据时非常有用，其中观察来自不同的群体，并且群体隶属关系未知。模拟数据 首先，我们将模拟一些数据。让我们模拟两个正态分布 - 一个平均值为0，另一个平均值为50，两者的标准差为5。 m1<-0
务（附代码数据）,咨询QQ：3025393450 有问题到百度搜索“大数据部落”就可以了 欢迎登陆官网：https://www.sodocs.net/doc/1b16648816.html,/datablog m2<-50 sd1<-sd2<-5 N1<-100 N2<-10 a<-rnorm(n=N1,mean=m1,sd=sd1) b<-rnorm(n=N2,mean=m2,sd=sd2) 现在让我们将数据“混合”在一起...... x<-c(a,b) class<-c(rep('a',N1),rep('b',N2)) data<-data.frame(cbind(x=as.numeric(x),class=as.factor(class))) library("ggplot2") p<-ggplot(data,aes(x=x))+
务（附代码数据）,咨询QQ：3025393450 有问题到百度搜索“大数据部落”就可以了 欢迎登陆官网：https://www.sodocs.net/doc/1b16648816.html,/datablog geom_histogram(aes(x,..density..),binwidth=1,colour="black",fill ="white")+ geom_vline(xintercept=m1,col="red",size=2)+ geom_vline(xintercept=m2,col="blue",size=2) p
混合高斯模型(Mixtures-of-Gaussians)和EM算法
混合高斯模型（Mixtures of Gaussians）和EM算法 这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）。 与k-means一样，给定的训练样本是，我们将隐含类别标签用表示。与k-means的硬指定不同，我们首先认为是满足一定的概率分布的，这里我们认为满足多项式分布，，其中，有k 个值{1,…,k}可以选取。而且我们认为在给定后，满足多值高斯分布，即。由此可以得到联合分布。 整个模型简单描述为对于每个样例，我们先从k个类别中按多项式分布抽取一个，然后根据所对应的k个多值高斯分布中的一个生成样例，。整个过程称作混合高斯模型。注意的是这里的仍然是隐含随机变量。模型中还有三个变量和。最大似然估计为。对数化后如下： 这个式子的最大值是不能通过前面使用的求导数为0的方法解决的，因为求的结果不是close form。但是假设我们知道了每个样例的，那么上式可以简化为： 这时候我们再来对和进行求导得到： 就是样本类别中的比率。是类别为j的样本特征均值，是类别为j的样例的特征的协方差矩阵。 实际上，当知道后，最大似然估计就近似于高斯判别分析模型（Gaussian discriminant analysis model）了。所不同的是GDA中类别y是伯努利分布，而这里的z是多项式分布，还有这里的每个样例都有不同的协方差矩阵，而GDA中认为只有一个。 之前我们是假设给定了，实际上是不知道的。那么怎么办呢？考虑之前提到的EM的思想，第一步是猜测隐含类别变量z，第二步是更新其他参数，以获得最大的最大似然估计。用到这里就是： 循环下面步骤，直到收敛：{
【CN110060258A】基于高斯混合模型聚类的视网膜水肿SDOCT图像分割方法和系统【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910238491.6 (22)申请日 2019.03.27 (71)申请人 山东师范大学 地址 250358 山东省济南市长清区大学科 技园大学路1号 (72)发明人 李登旺 吴敬红 牛四杰 孔问问 薛洁 陈美荣 刘婷婷 (74)专利代理机构 济南圣达知识产权代理有限 公司 37221 代理人 杨晓冰 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/187(2017.01) (54)发明名称 基于高斯混合模型聚类的视网膜水肿SD- OCT图像分割方法和系统 (57)摘要 本发明公开了一种基于高斯混合模型聚类 的视网膜水肿SD -OCT图像分割方法和系统，能够 实现对低质量OCT图像进行自动分割，取得了良 好的分割效果。该方法包括以下步骤：获取待分 割的视网膜SD -OCT图像；对待分割的视网膜SD - OCT图像进行层分割，得到内界膜和视网膜内边 界的位置坐标；采用高斯混合模型聚类方法待分 割的视网膜SD -OCT图像进行粗分割，得到粗略分 割图；利用距离阈值从粗分割得到的粗略分割图 中筛选出目标区域；利用厚度信息去除目标区域 中伪影区域， 并优化目标区域的边界。权利要求书3页 说明书9页 附图3页CN 110060258 A 2019.07.26 C N 110060258 A
1.一种基于高斯混合模型聚类的视网膜水肿SD -OCT图像分割方法，其特征是，包括以下步骤： 获取待分割的视网膜SD -OCT图像； 对待分割的视网膜SD -OCT图像进行层分割，得到内界膜和视网膜内边界的位置坐标；采用高斯混合模型聚类方法对待分割的视网膜SD -OCT图像进行粗分割，并利用层分割的结果对粗分割后的图像进行区域限制，得到粗略分割图； 利用距离阈值从粗分割得到的粗略分割图中筛选出目标区域； 利用厚度信息去除目标区域中伪影区域，并优化目标区域的边界。 2.根据权利要求1所述的基于高斯混合模型聚类的视网膜水肿SD -OCT图像分割方法，其特征是，所述利用距离阈值从粗分割得到的粗略分割图中筛选出目标区域的步骤包括： 计算粗略分割图中每个像素点到视网膜内边界的距离； 统计粗略分割图中每个像素点到视网膜内边界的距离的概率分布图； 结合视网膜外核层的成像特点和得到的距离概率分布图，分析得出的每个像素点到视网膜内边界的距离的概率在距离0～100像素点之间的峰值； 将所有峰值进行高斯函数拟合，得到高斯函数的均值； 以高斯函数的均值为基准，将高斯函数的起点到均值部分的曲线进行翻转，得到新曲线的零点，将该零点作为距离阈值； 将粗略分割图中像素点到视网膜内边界的距离小于该距离阈值的像素点剔除，得到目标区域。 3.根据权利要求1所述的基于高斯混合模型聚类的视网膜水肿SD -OCT图像分割方法，其特征是，所述利用厚度信息去除目标区域中伪影区域的步骤包括： 计算每个目标区域所对应的内界膜和视网膜内边界之间的最小厚度t，以及目标区域中每个像素点到视网膜内边界的距离d及其中值m、均值a； 将目标区域中每个像素点到视网膜内边界的距离的均值a与每个目标区域所对应的内界膜和视网膜内边界之间的最小厚度t相比，得到比值r； 比较比值r与4的大小，以及均值a与中值m的大小； 当r<4且a 高斯混合模型GMM与EM算法的Python实现 GMM与EM算法的Python实现 高斯混合模型(GMM)是一种常用的聚类模型，通常我们利用最大期望算法(EM)对高斯混合模型中的参数进行估计。 1. 高斯混合模型(Gaussian Mixture models, GMM) 高斯混合模型（Gaussian Mixture Model，GMM）是一种软聚类模型。GMM也可以看作是K-means的推广，因为GMM不仅是考虑到了数据分布的均值，也考虑到了协方差。和K-means一样，我们需要提前确定簇的个数。 GMM的基本假设为数据是由几个不同的高斯分布的随机变量组合而成。如下图，我们就是用三个二维高斯分布生成的数据集。 在高斯混合模型中，我们需要估计每一个高斯分布的均值与方差。从最大似然估计的角度来说，给定某个有n个样本的数据集X，假如已知GMM 中一共有k?簇，我们就是要找到k组均值μ1,?,μk，k组方差σ1,?,σk?来最大化以下似然函数L 这里直接计算似然函数比较困难，于是我们引入隐变量(latent variable)，这里的隐变量就是每个样本属于每一簇的概率。假设W是一个n×k的矩阵，其中?Wi,j?是第?i?个样本属于第?j 簇的概率。 在已知W的情况下，我们就很容易计算似然函数LW， 将其写成 其中P(Xi?|?μj,?σj)?是样本Xi在第j个高斯分布中的概率密度函数。 以一维高斯分布为例， 2. 最大期望算法(Expectation–Maximization, EM) 有了隐变量还不够，我们还需要一个算法来找到最佳的W，从而得到GMM的模型参数。EM算法就是这样一个算法。 简单说来，EM算法分两个步骤。 第一个步骤是E（期望），用来更新隐变量WW； 第二个步骤是M（最大化），用来更新GMM中各高斯分布的参量μj,?σj。 然后重复进行以上两个步骤，直到达到迭代终止条件。 3. 具体步骤以及Python实现 完整代码在第4节。 首先，我们先引用一些我们需要用到的库和函数。 1 import numpy as np 2 import matplotlib.pyplot as plt 3 from matplotlib.patches import Ellipse 4 from scipy.stats import multivariate_normal 5 https://www.sodocs.net/doc/1b16648816.html,e('seaborn')? 接下来，我们生成2000条二维模拟数据，其中400个样本来自N(μ1,var1)，600个来自N(μ2,var2)，1000个样本来自N(μ3,var3) 1 # 第一簇的数据 2 num1, mu1, var1 = 400, [0.5, 0.5], [1, 3] 3 X1 = np.random.multivariate_normal(mu1, np.diag(var1), num1) 高斯混合模型（Gaussian Mixture Model, GMM） (2011-12-30 23:50:01) 标签： 分类：工作篇 校园 高斯混合模型 高斯模型就是用高斯概率密度函数（正态分布曲线）精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。对图像背景建立高斯模型的原理及过程：图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以以为是图像灰度概率密度的估计。如果图像所包含的目标区域和背景区域相比比较大，且背景区域和目标区域在灰度上有一定的差异，那么该图像的灰度直方图呈现双峰-谷形状，其中一个峰对应于目标，另一个峰对应于背景的中心灰度。对于复杂的图像，尤其是医学图像，一般是多峰的。通过将直方图的多峰特性看作是多个高斯分布的叠加，可以解决图像的分割问题。在智能监控系统中，对于运动目标的检测是中心内容，而在运动目标检测提取中，背景目标对于目标的识别和跟踪至关重要。而建模正是背景目标提取的一个重要环节。 我们首先要提起背景和前景的概念，前景是指在假设背景为静止的情况下，任何有意义的运动物体即为前景。建模的基本思想是从当前帧中提取前景，其目的是使背景更接近当前视频帧的背景。即利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景,但是由于光照突变以及其他外界环境的影响，一般的建模后的背景并非十分干净清晰，而高斯混合模型 (GMM)是建模最为成功的方法之一。 英文翻译及缩写：Gaussian mixture model (GMM) 混合高斯模型使用K（基本为3到5个）个高斯模型来表征图像中各个像素点的特征,在新一帧图像获得后更新混合高斯模型,用当前图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点, 否则为前景点。通观整个高斯模型，他主要是有方差和均值两个参数决定，,对均值和方差的学习,采取不同的学习机制,将直接影响到模型的稳定性、精确性和收敛性。由于我们是对运动目标的背景提取建模，因此需要对高斯模型中方差和均值两个参数实时更新。为提高模型的学习能力,改进方法对均值和方差的更新采用不同的学习率;为提高在繁忙的场景下,大而慢的运动目标的检测效果,引入权值均值的概念,建立背景图像并实时更新,然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类。具体更新公式如下： μt= (1 - ρ)μt- 1 +ρxt (1) ?2t = (1 - ρ)?2t- 1 +ρ( xt -μt ) T ( xt -μt ) (2) ρ =αη( xt | μκ,?κ ) (3) | xt -μt - 1 | ≤ 2. 5?t- 1 (4) w k , t = (1 - α) w k , t - 1 +αMk , t (5) 式中ρ为学习率，即反映当前图像融入背景的速率。G M M 高 斯 混 合 模 型 ( 2 0 2 0 )
高斯混合模型