HMM-前向-后向算法 举例

华夏35度

Data Mining,NLP,Search Engine

EM算法

本文试图用最简单的例子、最浅显的方式说明EM（Expectation Maximization）算法的应用场景和使用方法，而略去公式的推导和收敛性的证明。

以下内容翻译自《Data-Intensive Text Processing with MapReduce》。

Maximum Likelihood Estimation

Maximum Likelihood Estimation(MLE)是要选择一个最佳参数θ*，使得从训练集中观察到和情况出现的概率最大。即模型：

举例来说明。如下图

一个小黑球沿着一个三角形的木桩滚入杯子a或b中，可建立一个概率模型，由于是二值的，设服从Bernoulli分布，概率密度函数为：

p是k=0的概率，也是我们要使用MLE方法要确定的参数。

在上面的滚球实验中，我们令Y是待确定的参数，X是观察到的结果。连续10次实验，观察到的结果是X=

（b,b,b,a,b,b,b,b,b,a）。小球进入a杯的概率为p，则满足10次实验的联合概率为：

为了使X发生的概率最大，令上式一阶求导函数为0，得p=0.2。

含有隐含变量的弹球实验

如上图，现在又多了两块三角形木桩，分别标记序号为0，1，2。并且实验中我们只知道小球最终进入了哪个杯子，中间的路线轨迹无从得知。

X取值于{a,b,c}表示小球进入哪个杯子。Y取值于{0,1,2,3}表示小球进入杯子前最后一步走的是哪条线路。小球在3个木桩处走右边侧的概率分别是p=(p0,p1,p2)。跟上例中一样，X表示训练集观测到的值，p是模型参数，而这里的Y就是"隐含变量"。

假如我们做了N次实验，小球经过路径0,1,2,3的次数依次是N0,N1,N2,N3，则：

带隐含变量的MLE

现在我们来考虑这个概率模型：Pr(X,Y;θ)。只有X是可观察的，Y和θ都是未知的。

经过一组实验，我们观察到X的一组取值x=(x1,x2,...,x l)，则联合概率为：

MLE就是要求出最佳的参数θ*，使得：

这个时候要求θ*，”令一阶求函数等于0“的方法已经行不通了，因为有隐含变量Y的存在。实现上上式很难找到一种解析求法，不过一种迭代的爬山算法可求解该问题。

Expectation Maximization

EM是一种迭代算法，它试图找到一系列的估计参数θ(0),θ(1),θ(2),....使得训练数据的marginal likelihood是不断增加的，即：

算法刚开始的时候θ(0)赋予随机的值，每次迭代经历一个E-Step和一个M-Step，迭代终止条件是θ(i+1)与θ(i)相等或十分相近。

E-Step是在θ(i)已知的情况下计算X=x时Y=y的后验概率：

f(x|X)是一个权值，它表示观测值x在所有观察结果X中出现的频率。

M-Step：

其中在E-Step已经求出来了。这时候可以用“令一阶导数等于0”的方法求出θ'。EM算法收敛性的证明需要用到Jensen不等式，这里略去不讲。

举例计算

就拿上文那个3个木桩的滚球实验来说，做了N次实验，滚进3个杯子的次数依次是Na,Nb,Nc。

先给赋予一个随机的值。

E-Step:

同时我们注意到

其它情况下Y的后验概率都为0。

M-Step:

我们只需要计算非0项就可以了

上面的每行第3列和第4列相乘，最后再按行相加，就得到关于θ(i+1)的函数，分别对p0,p1,p2求偏导，令导数为0，可求出p'0,p'1,p'2。

这里补充一个求导公式：

我们这个例子非常简单，计算θ(1)已经是最终的解了，当然你要计算出θ(2)才下此结论。

蒙特卡罗算法的简单应用

一、蒙特卡洛算法 1、含义的理解 以概率和统计理论方法为基础的一种计算方法。也称统计模拟方法，是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法，它是将所求解的问题同一定的概率模型相联系，用计算机实现统计模拟或抽样，以获得问题的近似解。 2、算法实例 在数值积分法中，利用求单位圆的1/4的面积来求得Pi/4从而得到Pi 。单位圆的1/4面积是一个扇形，它是边长为1单位正方形的一部分。只要能求出扇形面积S1在正方形面积S 中占的比例K=S1/S 就立即能得到S1，从而得到Pi 的值。怎样求出扇形面积在正方形面积中占的比例K 呢？一个办法是在正方形中随机投入很多点，使所投的点落在正方形中每一个位置的机会相等看其中有多少个点落在扇形内。将落在扇形内的点数m 与所投点的总数n 的比m/n 作为k 的近似值。P 落在扇形内的充要条件是 221x y +≤ 。 已知：K= 1s s ，K ≈m n ，s=1，s1=4P i ，求Pi 。 由1 s m s n ≈，知s1≈*m s n =m n ， 而s1=4P i ，则Pi=*4m n 程序： /* 利用蒙特卡洛算法近似求圆周率Pi*/ /*程序使用：VC++6.0 */ #include #include #include #define COUNT 800 /*循环取样次数，每次取样范围依次变大*/ void main() { double x,y; int num=0; int i; for(i=0;i

x=rand()*1.0/RAND_MAX;/*RAND_MAX=32767，包含在中*/ y=rand()*1.0/RAND_MAX; i f((x*x+y*y)<=1) num++; /*统计落在四分之一圆之内的点数*/ } printf("Pi值等于：%f\n",num*4.0/COUNT); printf("RAND_MAX=%d\n",RAND_MAX); 3、应用的范围 蒙特·卡罗方法在金融工程学，宏观经济学，计算物理学(如粒子输运 计算、量子热力学计算、空气动力学计算)等领域应用广泛。 4、参考书籍 [1]蒙特卡罗方法及其在粒子输运问题中的应用[2]蒙特卡罗方法引论

蒙特卡罗方法的应用【文献综述】

文献综述 信息与计算科学 蒙特卡罗方法的应用 在解决实际问题的时候, 为了模拟某一过程, 产生各种概率分布的随机变量和对于那些由于计算过于复杂而难以得到解析解或者根本没有解析解的问题, 我们应该怎么办? 蒙特·卡罗是一种十分有效的求出数值解的方法. 蒙特卡罗法（ monte-carlo method ）简称M -C 法 通过构造概率模型并对它进行随机试验来解算数学问题的方法. 以计算函数的定积分()()1 0I f x d x =?, ()01f x ≤≤为例, 首先构造一个概率模型: 取一个边长分别为和-的矩形, 并在矩形内随机投点M , 假设随机点均匀地落在整个矩形之内, 当点的掷点数N 充分大时, 则落在图中阴影区内的随机点数与投点总数N 之比M N 就近似等于积分值I . 蒙特卡罗法历史悠久. 1773年法国G.-L.L.von 布丰曾通过随机投针试验来确定圆周率π的近似值, 这就是应用这个方法的最早例子. 蒙特卡罗是摩纳哥著名赌城, 1945年 J.von 诺伊曼等人用它来命名此法, 沿用至今. 数字计算机的发展为大规模的随机试验提供了有效工具, 遂使蒙特卡罗法得到广泛应用. 在连续系统和离散事件系统的仿真中, 通常构造一个和系统特性相近似的概率模型, 并对它进行随机试验, 因此蒙特卡罗法也是系统仿真方法之一. 蒙特卡罗法的步骤是: 构造实际问题的概率模型; ②根据概率模型的特点, 设计和使用降低方差的各类方法, 加速试验的收敛; ③给出概率模型中各种不同分布随机变量的抽样方法; ④统计试验结果, 给出问题的解和精度估计. 概率模型用概率统计的方法对实际问题或系统作出的一种数学描述. 例如对离散事件系统中临时实体的到达时间、永久实体的服务时间的描述（见离散事件系统仿真方法）就是采用概率模型. 虽然由这些模型所确定的到达时间、服务时间可能与具体某一段时间内实际到达时间、服务时间有出入, 但它是通过多次统计获得的结果, 所以从概率分布的规律来说还是相符的. 概率模型不仅可用来描述本身就具有随机特性的问题或系统, 也可用来描述一个确定型问题. 例如参数寻优中的随机搜索法（见动力学系统参数寻优）就是将参数最优化问题构造为一个概率模型, 然后用随机投点、统计分析的方法来进行搜索.

中南大学2014算法试卷及答案分析

中南大学考试试卷 2013 -- 2014学年下学期时间100分钟 2014 年6 月6日 算法分析与设计课程 48 学时 3 学分考试形式：闭卷 专业年级：12级计算机、信安、物联本科生，总分100分，占总评成绩70 % 注：此页不作答题纸，请将答案写在答题纸上 一、简答题（本题30分，每小题5分） 1、陈述算法在最坏情况下的时间复杂度和平均时间复杂度；这两种评估算法复杂性的方 法各自有什么实际意义？ 1最坏情况下的时间复杂度称最坏时间复杂度。一般不特别说明，讨论的时间复杂度均是最坏情况下的时间复杂度。意义：最坏情况下的时间复杂度是算法在任何输入实例上运行时间的上界，这就保证了算法的运行时间不会比任何更长2平均时间复杂度是指所有可能的输入实例均以等概率出现的情况下，算法的期望运行时间。意义：在输入不同的情况下算法的运行时间复杂度可能会发生变化。平均时间复杂度给出了算法的期望运行时间，有助于算法好坏的评价以及在不同算法之间比较时有一个统一标准 2、简单描述分治法的基本思想。 分治法的基本思想是将一个规模为n的问题分解为k个规模较小的子问题，这些子问题互相独立且与原问题相同。递归地解这些子问题，然后将各个子问题的解合并得到原问题的解。 3、何谓最优子结构性质？ 如果问题的最优解所包含的子问题的解也是最优的，我们就称该问题具有最优子结构性质（即满足最优化原理）。最优子结构性质为动态规划算法解决问题提供了重要线索。 4、何谓P、NP、NPC问题 P(Polynomial问题)：也即是多项式复杂程度的问题。 NP就是Non-deterministic Polynomial的问题，也即是多项式复杂程度的非确定性问题。 NPC(NP Complete)问题，这种问题只有把解域里面的所有可能都穷举了之后才能得出答案，这样的问题是NP里面最难的问题，这种问题就是NPC问题。 5、试比较回溯法与分支限界法。 1、引言 1.1回溯法 回溯法在问题的解空间树中，按深度优先策略，从根结点出发搜索解空间树。算法搜索至解空间树的任意一点时，先判断该结点是否包含问题的解。如果肯定不包含，则跳过对该结点为根的子树的搜索，逐层向其祖先结点回溯；否则，进入该子树，继续按深度优先策略搜索。这种以深度优先方式系统搜索问题解的算法称为回溯法。

蒙特卡罗 算法

1、蒙特卡罗定位 足球机器人中自定位方法是由Fox提出的蒙特卡罗定位。这是一种概率方法，把足球机器人当前位置看成许多粒子的密度模型。每个粒子可以看成机器人在此位置定位的假设。在多数应用中，蒙特卡罗定位用在带有距离传感器的机器人设备上，如激光扫描声纳传感器。只有一些方法，视觉用于自定位。在足球机器人自定位有些不同，因为机器人占的面积相对比较小，但是机器人所在位置的面积必须相当准确的确定，以便允许同组不同机器人交流有关场地物体信息和遵守比赛规则。这种定位方法分为如下步骤，首先所有粒子按照一起那机器人的活动的运动模型移动。概率pi取决于在感知模型的基础上所有粒子在当前传感器上的读数。基于这些概率，就提出了所谓的重采样，将更多粒子移向很高概率的采样位置。概率平均分布的确定用来表示当前机器人的位置的最优估计。最后返回开始。 2、蒙塔卡罗 基本思想 当所求解问题是某种随机事件出现的概率，或者是某个随机变量的期望值时，通过某种“实验”的方法，以这种事件出现的频率估计这一随机事件的概率，或者得到这个随机变量的某些数字特征，并将其作为问题的解。 工作过程 蒙特卡罗方法的解题过程可以归结为三个主要步骤：构造或描述概率过程；实现从已知概率分布抽样；建立各种估计量。 蒙特卡罗方法解题过程的三个主要步骤： （1）构造或描述概率过程 对于本身就具有随机性质的问题，如粒子输运问题，主要是正确描述和模拟这个概率过程，对于本来不是随机性质的确定性问题，比如计算定积分，就必须事先构造一个人为的概率过程，它的某些参量正好是所要求问题的解。即要将不具有随机性质的问题转化为随机性质的问题。 2）实现从已知概率分布抽样 构造了概率模型以后，由于各种概率模型都可以看作是由各种各样的概率分布构成的，因此产生已知概率分布的随机变量（或随机向量），就成为实现蒙特卡罗方法模拟实验的基本手段，这也是蒙特卡罗方法被称为随机抽样的原因。最简单、最基本、最重要的一个概率分布是（0，1）上的均匀分布（或称矩形分布）。随机数就是具有这种均匀分布的随机变量。随机数序列就是具有这种分布的总体的一个简单子样，也就是一个具有这种分布的相互独立的随机变数序列。产生随机数的问题，就是从这个分布的抽样问题。在计算机上，可以用物理方法产生随机数，但价格昂贵，不能重复，使用不便。另一种方法是用数学递推公式产生。这样产生的序列，与真正的随机数序列不同，所以称为伪随机数，或伪随机数序列。不过，经过多种统计检验表明，它与真正的随机数，或随机数序列具有相近的性质，因此可把它作为真正的随机数来使用。由已知分布随机抽样有各种方法，与从(0,1)上均匀分布抽样不同，这些方法都是借助于随机序列来实现的，也就是说，都是以产生随机数为前提的。由此可见，随机数是我们实现蒙特卡罗模拟的基本工具。 （3）建立各种估计量

浅析蒙特卡洛方法原理及应用

浅析蒙特卡洛方法原理及应用 于希明 （英才学院1236103班测控技术与仪器专业6120110304） 摘要：本文概述了蒙特卡洛方法产生的历史及基本原理，介绍了蒙特卡洛方法的最初应用——蒲丰投针问题求圆周率，并介绍了蒙特卡洛方法在数学及生活中的一些简单应用，最后总结了蒙特卡洛方法的特点。 关键词：蒙特卡洛方法蒲丰投针生活应用 蒙特卡洛方法（Monte Carlo method），也称统计模拟方法，是二十世纪四十年代中期由于科学技术的发展和电子计算机的发明，而被提出的一种以概率统计理论为指导的一类非常重要的数值计算方法。它是以概率统计理论为基础, 依据大数定律( 样本均值代替总体均值) , 利用电子计算机数字模拟技术, 解决一些很难直接用数学运算求解或用其他方法不能解决的复杂问题的一种近似计算法。蒙特卡洛方法在金融工程学，宏观经济学，计算物理学（如粒子输运计算、量子热力学计算、空气动力学计算）等领域应用广泛。 一、蒙特卡洛方法的产生及原理 蒙特卡洛方法于20世纪40年代美国在第二次世界大战中研制原子弹的“曼哈顿计划”计划的成员S.M.乌拉姆和J.冯·诺伊曼首先提出。数学家冯·诺伊曼用驰名世界的赌城—摩纳哥的Monte Carlo—来命名这种方法，为它蒙上了一层神秘色彩。在这之前，蒙特卡洛方法就已经存在。1777年，法国数学家蒲丰（Georges Louis Leclere de Buffon，1707—1788）提出用投针实验的方法求圆周率π。这被认为是蒙特卡洛方法的起源。 其基本原理如下：由概率定义知，某事件的概率可以用大量试验中该事件发生的频率来估算，当样本容量足够大时，可以认为该事件的发生频率即为其概率。因此，可以先对影响其可靠度的随机变量进行大量的随机抽样，然后把这些抽样值一组一组地代入功能函数式，确定结构是否失效，最后从中求得结构的失效概率。蒙特卡洛法正是基于此思路进行分析的。 设有统计独立的随机变量Xi(i=1，2，3，…，k)，其对应的概率密度函数分别为fx1，fx2，…，fxk，功能函数式为Z=g(x1，x2，…，xk)。首先根据各随机变量的相应分布，产生N组随机数x1，x2，…，xk值，计算功能函数值Zi=g(x1，x2，…，xk)(i=1，2，…，N)，若其中有L组随机数对应的功能函数值Zi≤0，则当N→∞时，根据伯努利大数定理及正态随机变量的特性有：结构失效概率，可靠指标。 二、蒲丰投针问题 作为蒙特卡洛方法的最初应用, 是解决蒲丰投针问题。1777 年, 法国数学家蒲丰提出利用投针实验求解圆周率的问题。设平面上等距离( 如为2a) 画有一些平行线, 将一根长度为2l( l< a) 的针任意投掷到平面上, 针与任一平行线相交的频率为p 。针的位置可以用针的中心坐标x 和针与平行线的夹角θ来决定。任意方向投针, 便意味着x与θ可以任意取一值, 只是0≤x ≤a, 0≤θ≤π。那么, 投针与任意平行线相交的条件为x ≤ l sinθ。相交频率p 便可用下式求

数据挖掘算法综述

数据挖掘方法综述 [摘要]数据挖掘（DM，DataMining）又被称为数据库知识发现（KDD,Knowledge Discovery in Databases）,它的主要挖掘方法有分类、聚类、关联规则挖掘和序列模式挖掘等。 [关键词]数据挖掘分类聚类关联规则序列模式 1、数据挖掘的基本概念 数据挖掘从技术上说是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程。这个定义包括好几层含义: 数据源必须是真实的、大量的、含噪声的、发现的是用户感兴趣的知识, 发现的知识要可接受、可理解、可运用, 并不要求发现放之四海皆准的知识, 仅支持特定的发现问题, 数据挖掘技术能从中自动分析数据进行归纳性推理从中发掘出潜在的数据模式或进行预测, 建立新的业务模型帮助决策者调整策略做出正确的决策。数据挖掘是是运用统计学、人工智能、机器学习、数据库技术等方法发现数据的模型和结构、发现有价值的关系或知识的一门交叉学科。数据挖掘的主要方法有分类、聚类和关联规则挖掘等 2、分类 分类（Classification）又称监督学习（Supervised Learning）。监

督学习的定义是：给出一个数据集D，监督学习的目标是产生一个联系属性值集合A和类标（一个类属性值称为一个类标）集合C的分类/预测函数，这个函数可以用于预测新的属性集合（数据实例）的类标。这个函数就被称为分类模型（Classification Model），或者是分类器（Classifier）。分类的主要算法有：决策树算法、规则推理、朴素贝叶斯分类、支持向量机等算法。 决策树算法的核心是Divide-and-Conquer的策略，即采用自顶向下的递归方式构造决策树。在每一步中，决策树评估所有的属性然后选择一个属性把数据分为m个不相交的子集，其中m是被选中的属性的不同值的数目。一棵决策树可以被转化成一个规则集，规则集用来分类。 规则推理算法则直接产生规则集合，规则推理算法的核心是Separate-and-Conquer的策略，它评估所有的属性-值对（条件），然后选择一个。因此，在一步中，Divide-and-Conquer策略产生m条规则，而Separate-and-Conquer策略只产生1条规则，效率比决策树要高得多，但就基本的思想而言，两者是相同的。 朴素贝叶斯分类的基本思想是：分类的任务可以被看作是给定一个测试样例d后估计它的后验概率，即Pr（C=c j︱d），然后我们考察哪个类c j对应概率最大，便将那个类别赋予样例d。构造朴素贝叶斯分类器所需要的概率值可以经过一次扫描数据得到，所以算法相对训练样本的数量是线性的，效率很高，就分类的准确性而言，尽管算法做出了很强的条件独立假设，但经过实际检验证明，分类的效果还是

2014年12月中南大学网络教育课程考试：算法分析与设计作业参考答案

《算法分析与设计》作业参考答案 作业一 一、名词解释： 1.递归算法：直接或间接地调用自身的算法称为递归算法。 2.程序：程序是算法用某种程序设计语言的具体实现。 二、简答题： 1.算法需要满足哪些性质？简述之。 答：算法是若干指令的有穷序列，满足性质： （1）输入：有零个或多个外部量作为算法的输入。（2）输出：算法产生至少一个量作为输出。 （3）确定性：组成算法的每条指令清晰、无歧义。 （4）有限性：算法中每条指令的执行次数有限，执行每条指令的时间也有限。 2.简要分析分治法能解决的问题具有的特征。 答：分析分治法能解决的问题主要具有如下特征： （1）该问题的规模缩小到一定的程度就可以容易地解决； （2）该问题可以分解为若干个规模较小的相同问题，即该问题具有最优子结构性质； （3）利用该问题分解出的子问题的解可以合并为该问题的解； （4）该问题所分解出的各个子问题是相互独立的，即子问题之间不包含公共的子问题。 3.简要分析在递归算法中消除递归调用，将递归算法转化为非递归算法的方法。 答：将递归算法转化为非递归算法的方法主要有： （1）采用一个用户定义的栈来模拟系统的递归调用工作栈。该方法通用性强，但本质上还是递归， 只不过人工做了本来由编译器做的事情，优化效果不明显。（2）用递推来实现递归函数。 （3）通过Cooper 变换、反演变换能将一些递归转化为尾递归，从而迭代求出结果。 后两种方法在时空复杂度上均有较大改善，但其适用范围有限。 三、算法编写及算法应用分析题： 1.冒泡排序算法的基本运算如下： for i ←1 to n-1 do for j ←1 to n-i do if a[j]

20世纪十大算法

20世纪十大算法 本世纪初，美国物理学会(American Institute of Physics)和IEEE计算机社团(IEEE Computer Society)的一本联合刊物《科学与工程中的计算》发表了由田纳西大学的Jack Dongarra和橡树岭国家实验室的Francis Sullivan联名撰写的“世纪十大算法”一文，该 文“试图整理出在20世纪对科学和工程领域的发展产生最大影响力的十大算法”。作者苦于“任何选择都将是充满争议的，因为实在是没有最好的算法”，他们只好用编年顺序依次列出了这十项算法领域人类智慧的巅峰之作——给出了一份没有排名的算法排行榜。有趣的是，该期杂志还专门邀请了这些算法相关领域的“大拿”为这十大算法撰写十篇综述文章，实在是蔚为壮观。本文的目的，便是要带领读者走马观花，一同回顾当年这一算法界的盛举。1946蒙特卡洛方法 在广场上画一个边长一米的正方形，在正方形内部随意用粉笔画一个不规则的形状，呃，能帮我算算这个不规则图形的面积么？蒙特卡洛(Monte Carlo)方法便是解决这个问题的巧妙方法:随机向该正方形内扔N（N是一个很大的自然数）个黄豆，随后数数有多少个黄豆在这个不规则几何形状内部，比如说有M个:那么，这个奇怪形状的面积便近似于M/N，N越大，算出来的值便越精确。别小看这个数黄豆的笨办法，大到国家的民意测验，小到中子的移动轨迹，从金融市场的风险分析，到军事演习的沙盘推演，蒙特卡洛方法无处不在背后发挥着它的神奇威力。 蒙特卡洛方法由美国拉斯阿莫斯国家实验室的三位科学家John von Neumann（看清楚了，这位可是冯诺伊曼同志！）,Stan Ulam和Nick Metropolis共同发明。就其本质而言，蒙特卡洛方法是用类似于物理实验的近似方法求解问题，它的魔力在于，对于那些规模极大的问题，求解难度随着问题的维数（自变量个数）的增加呈指数级别增长，出现所谓的“维数的灾难”（Course of Dimensionality）。对此，传统方法无能为力，而蒙特卡洛方法却可以独辟蹊径，基于随机仿真的过程给出近似的结果。 最后八卦一下，Monte Carlo这个名字是怎么来的？它是摩纳哥的一座以博彩业闻名的城市，赌博其实是门概率的高深学问，不是么？ 1947单纯形法 单纯形法是由大名鼎鼎的“预测未来”的兰德公司的Grorge Dantzig发明的，它成为线性规划学科的重要基石。所谓线性规划，简单的说，就是给定一组线性（所有变量都是一次幂）约束条件（例如a1*x1+b1*x2+c1*x3>0)，求一个给定的目标函数的极值。这么说似乎也太太太抽象了，但在现实中能派上用场的例子可不罕见——比如对于一个公司而言，其能够投入生产的人力物力有限（“线性约束条件”），而公司的目标是利润最大化（“目标函数取 最大值”），看，线性规划并不抽象吧！线性规划作为运筹学(operation research)的一部分，成为管理科学领域的一种重要工具。而Dantzig提出的单纯形法便是求解类似线性规划问题的一个极其有效的方法，说来惭愧，本科二年级的时候笔者也学过一学期的运筹学，现在脑子里能想起的居然只剩下单纯形法了——不过这不也正说明了该方法的简单和直观么？ 顺便说句题外话，写过《万历十五年》的黄仁宇曾说中国的传统是“不能从数目字上管理”，我们习惯于“拍脑袋”，而不是基于严格的数据做决定，也许改变这一传统的方法之一就是全民动员学习线性规划喔。 1950Krylov子空间迭代法 1951矩阵计算的分解方法 50年代初的这两个算法都是关于线性代数中的矩阵计算的，看到数学就头大的读者恐怕看到

中南大学算法试卷

中南大学考试试卷 2012 -- 2013学年上学期时间120分钟2013 年1 月4日 算法分析与设计课程48 学时3 学分考试形式：闭卷 专业年级：10级计算机、信安、物联本科生，总分100分，占总评成绩70 % 注：此页不作答题纸，请将答案写在答题纸上 1. (15分)本期学了很多类算法，请针对以下几类设计策略，举出相应的例子，详细描述算法细节，以说明它们为什么是属于相应的设计策略？ （1）分治法 （2）动态规划 （3）贪心策略 2. （30分）请判断下列陈述是否正确。 （1）根据Master定理，可得到递归式T(n)=4T(n/2)+n2的解为T(n)=O(n2logn). （2）归并排序在最好情况下的时间复杂度为O(nlogn). （3）具有n个结点的二叉排序树的树高均为O(logn)。 （4）如果一个问题是NP完全问题，它肯定也是NP问题。 （5）给定n个数，可以在O（n）的时间内找到10个最大数与10个最小数之间的中间数。（6）Kruskal算法利用了动态规划思想寻找给定图中的最小生成树。 （7）n!=O(2n)。 （8）回溯法借鉴了广度优先的策略得到问题的最优解。 （9）对于一个有n个顶点m条边的无向图G，有两个不同的顶点s( t，则在O(m+n)的时间内可以找到s与t之间的最短路径。 （10）在最坏情况下，快速排序耗费O(N2)。 （11）如果图中包含负权值的边，则Dijkstra算法不可适用。 （12）分治法是属于自底向上的算法策略；动态规划是属于自顶向下的算法策略。 （13）有一个算法，将n个整数a1,...,an作为输入，算法的时间复杂度是O(a1+a2+......+an)。它是一个多项式时间算法。 （14）有一个图G=(V,E) ，每条边e∈E的权We>0, 如果一棵生成树T 最小化Σe∈TWe ，那么T 也最小化Σe∈TWe2 ，反之也成立（即图中边的权值都平方后，生成树T仍是这个图的最小生成树）。 （15）给定两个判定性问题Q1、Q2，如果Q1可以在多项式时间内规约到Q2，则Q1和Q2具有同等难度。 3. （20分）算法设计（选做两题） （10分）设计一个算法判断一个多边形是否是凸多边形，并分析你的算法的时间性能(注：（1） 输入是沿着多边形逆时针的顶点系列)。 （2）（10分）给定图G=(V, E)，利用深度优先算法统计图G中连通块的个数。给出统计算法. （3）(10分)给定边加权图G=(V, E)，图G中的最大生成树为图G中所有生成树中权值最大的生成树。设计构造最大生成树的算法 4. （10分）求解下列递归式。T(1)=1. （1）T(n)=2T(n-1)+1 （2）T(n)=T(n/2)+T(n/4)+n2 5. （25分）对于0/1背包问题，给定n个物品，每个物品都具有一定的权重和价值，寻找物品的一个子集，使得当把这些物品放到背包中时，物品的总重量不会超过背包的容量M。

WSN定位蒙特卡洛方法MCL的MATLAB

clear; clc; %初始化工作 Ns = 20; Nn = 200; Vmax = 20; Xrange = 200; Yrange = 200; tr = 50; step = 20; N = 20; Nf = 3; %采样盒子确定时，估计位置要扩大圆面积 ns_range = 200; %每个采样盒子的最大采样次数 for i = 1:Ns Xseed(1,i)=rand(1,1)*Xrange; Yseed(1,i)=rand(1,1)*Yrange; end for i = 1:Nn Xnode(1,i)=rand(1,1)*Xrange; Ynode(1,i)=rand(1,1)*Yrange; Xnode_g(1,i)=Xnode(1,i); %MCL估计位置,初始值设置为真实位置 Ynode_g(1,i)=Ynode(1,i); end %初始时刻的粒子群，for every node for i = 1:Nn for j = 1:N lx(i,j,1) = Xnode_g(1,i); ly(i,j,1) = Ynode_g(1,i); end end %figure(1); %plot(Xseed,Yseed,'bo',Xnode,Ynode,'k*'); %节点们开始运动，每次定位完成才开始下一次运动，这里假设这个定位过程耗时非常短%仿真步数 for k=2:step %新的时刻，节点们先运动一下,RWP模型 for i = 1:Ns r = rand(1,1)*Vmax; thita = rand(1,1)*2*pi; Xseed(k,i) = Xseed(k-1,i) + r*cos(thita);

蒙特卡罗方法学习总结

图1-1 蒙特卡罗方法学习总结 核工程与核技术2014级3班张振华20144530317 一、蒙特卡罗方法概述 1.1蒙特卡罗方法的基本思想 1.1.1基本思想 蒙特卡罗方的基本思想就是，当所求问题的解是某个事件的概率，或者是某个随机变量的数学期望，或者是与概率、数学期望有关的量时，通过某种试验方法，得出该事件发生的频率，或者该随机变量若干个具体观察值的算术平均值，通过它得到问题的解。 1.1.2计算机模拟打靶游戏 为了能更为深刻地理解蒙特卡罗方法的基本思想，我们学习了蒲丰氏问题和打靶游戏两大经典例子。下面主要对打靶游戏进行剖析、计算机模拟（MATLAB 程序）。 设某射击运动员的弹着点分布如表1-1 所示， 首先用一维数轴刻画出已知该运动员的弹 着点的分布如图1-1所示。研究打靶游戏，我 们不用考察子弹的运动轨迹，只需研究每次“扣动扳机”后的子弹弹着点。每一环数对应唯一确定的概率，且注意到概率分布函数有单调不减和归一化的性质。首先我们产生一个在(0,1)上均匀分布的随机数（模拟扣动扳机），然后将该随机数代表的点投到P 轴上（模拟子弹射向靶上的一个确定点），得到对应的环数（即子弹的弹着点），模拟打靶完成。反复进行N 次试验，统计出试验结果的样本均值。样本均值应当等于数学期望值，但允许存在一定的偏差，即理论计算值应该约等于模拟试验结果。 clear all;clc; N=100000;s=0; for n=1:N %step 4.重复N 次打靶游戏试验

x=rand(); %step 1.产生在(0,1)上均匀分布的随机数if(x<=0.1) %step 2.若随机数落在(0.0,0.1)上，则代表弹着点在7环g=7; s=s+g; %step 3.统计总环数elseif(x<=0.2) %step 2.若随机数落在(0.1,0.2)上，则代表弹着点在8环g=8;s=s+g; elseif(x<=0.5) %step 2.若随机数落在(0.2,0.5)上，则代表弹着点在9环g=9;s=s+g; else %step 2.若随机数落在(0.5,1.0)上，则代表弹着点在10环 g=10;s=s+g; end end gn_th=7*0.1+8*0.1+9*0.3+10*0.5; %step 5.计算、输出理论值fprintf('理论值：%f\n',gn_th); gn=s/N; %step 6.计算、输出试验结果 fprintf('试验结果：%f\n',gn);1.2蒙特卡罗方法的收敛性与误差 1.2.1收敛性 由大数定律可知，应用蒙特卡罗方法求近似解，当随机变量Z 的简单子样数N 趋向于无穷大（N 充分大）时，其均值依概率收敛于它的数学期望。 1.2.2误差 由中心极限定理可知，近似值与真值的误差为N Z E Z N αλ<-)(?。式中的αλ的值可以根据给出的置信水平，查阅标准正态分布表来确定。 1.2.3收敛性与误差的关系 在一般情况下，求具有有限r 阶原点矩()∞

题目蒙特卡洛算法的设计和实现

题目：蒙特卡洛算法的设计和实现 班别：12accp2班 组员姓名：蔡添来杨善挺 时间：2013.6.28

应用数学二期末考核 项目设计说明书 项目名称：蒙特卡洛算法的设计和实现 人员情况 （注：写上组员的姓名、学号） 蔡添来-010******* 杨善挺-010******* 人员分工情况 （注：写上每个组员完成那个部分的详细情况） N-S图和代码蔡添来负责编写，杨善挺参与讨论，杨善挺负责写摘要问题分析、问题总结以及饼状图的代码编写及处理等等，主要结果及其分析讨论部分由蔡添来写，该部分一些问题杨善挺参与讨论。 蒙特卡洛算法的设计和实现 摘要 （注：请写上你对本项目题目的基本认识和介绍，解决该问题用的的方法和算法的基本思想和原理，以及本问题的主要结论及对结论的简单总结和分析） 本文根据蒙特卡洛算法以实验为基础阐述其算法的设计思路和实现过程，可以通过反复多次的实验，利用数学的的N-S算法，以及MATLAB编程等，并联系实际生活情况，分析蒙特卡洛算法给现实世界带来的各种好处，并提出合理的的建议。 针对本项目问题，首先从抽奖的本质出发，分析该问题到底能让哪方获益，估算抽奖者得到各种结果的概率，以及设奖者受益情况。首先从硬币的分值来分析，列出抽取10枚硬币的总和，再计算每种情况出现的概率，再给予一定的奖罚，这样才能即吸引抽奖者，又可以让设奖者盈利，让抽奖者的损失尽可能少。既可以达到娱乐的效果，又可以得到大家都认可。 最后总结蒙特卡洛算法在数学方面的运用以及对现代社会的经济等方面的推动作用，并给出一些建议。

关键词：模拟概率大量统计 蒙特?卡罗的背景介绍和发展 （注：请介绍你对本项目的背景和发展历史等相关内容） 蒙特?卡罗方法（Monte Carlo method），也称统计模拟方法，是二十世纪四十年代中期由于科学技术的发展和电子计算机的发明，而被提出的一种以概率统计理论为指导的一类非常重要的数值计算方法。 蒙特卡洛算法对于本身就具有随机性质的问题，主要是正确描述和模拟这个概率过程，对于本来不是随机性质的确定性问题，就必须事先构造一个人为的概率过程，它的某些参量正好是所要求问题的解。即要将不具有随机性质的问题转化为随机性质的问题。 蒙特卡罗方法的验证需要次数较多的实验和多次的验证。实验越接近理想状态，所得到的实验结果才越精确。所谓理想的实验次数，就是实验次数尽可能的多和用同样的验证方法验证多次，并取他们的平均值，以便减少误差。而且蒙特卡罗方法每次得到的结果具有随机性，因此，现实生活中该算法又可以为人们的生活娱乐带来乐趣，又可以为商家带来赚钱对的好机会。 当实验对象是某种随机事件出现的概率时，或者是某个随机变量的期望值时，可以进行反复“实验”，以这种事件出现的频率估计这一随机事件的概率，并计算全部概率的均值，或者得到这个随机变量的某些数字特征，并将其作为问题的解。以便减少实验误差。 对于本项目的实验对象，利用蒙特卡罗方法以同样的方法反复实验，方便快捷可以得到我们想要的结果，，这是典型的蒙特卡罗方法的运用，而近代也有不少科学家解决同样的问题。例如:1777年，法国数学家布丰（Georges Louis Leclere de Buffon，1707—1788）提出用投针实验的方法求圆周率π。而这被认为是蒙特卡罗方法的起源。 利用蒙特.卡罗方法对该抽签将活动模拟问题分析和数学模型 （注：请介绍你对本项目的解决方法的思路和方法，要求：必须具有对问题解决方法的数学模型(数学模型：数学表达式或算法)的介绍和为什么使用该模型？若问题能求出理论解，在此地方必须给出理论解） 利用N-S图分析思路，再利用MATLAB程序代码运行得到具体结果，结合高中数学的组合运算，因涉及概率等等问题，以及局限于我们的知识，我们只有利用高中的组合运算和大学一年级的N-S图来分析问题，并且利用这几个经典的数学方法，我们可以轻松的解决这个抽奖问题。

分治算法实验(用分治法实现快速排序算法)

算法分析与设计实验报告第四次附加实验

while (a[--j]>x); if (i>=j) { break; } Swap(a[i],a[j]); } a[p] = a[j]; //将基准元素放在合适的位置 a[j] = x; return j; } //通过RandomizedPartition函数来产生随机的划分 template vclass Type> int RandomizedPartition(Type a[], int p, int r) { int i = Random(p,r); Swap(a[i],a[p]); return Partition(a,p,r); } 较小个数排序序列的结果: 测试结果 较大个数排序序列的结果:

实验心得 快速排序在之前的数据结构中也是学过的，在几大排序算法中，快速排序和归并排序尤其是 重中之重，之前的快速排序都是给定确定的轴值，所以存在一些极端的情况使得时间复杂度 很高，排序的效果并不是很好，现在学习的一种利用随机化的快速排序算法，通过随机的确 定轴值，从而可以期望划分是较对称 的，减少了出现极端情况的次数，使得排序的效率挺高了很多， 化算法想呼应，而且关键的是对于随机生成函数，通过这一次的 学习终于弄明白是怎么回事了，不错。 与后面的随机实 验和自己的 实验得分助教签名 附录： 完整代码(分治法) //随机后标记元素后的快速排序 #i nclude #in elude #inelude #include using namespacestd; template < class Type> void S &x,Type &y); // 声明swap函数 inline int Random(int x, int y); // 声明内联函数 template < class Type> int Partition(Type a[], int p, int r); // 声明 Partition 函数template int RandomizedPartition(Type a[], int p, int r); // 声明 RandomizedPartition 函数 int a[1000000]; //定义全局变量用来存放要查找的数组 更大个数排序序列的结果:

中南大学数据结构与算法

第一章绪论习题练习答案 简述下列概念：数据、数据元素、数据类型、数据结构、逻辑结构、存储结构、线性结构、非线性结构。 ? 数据：指能够被计算机识别、存储和加工处理的信息载体。 ? 数据元素：就是数据的基本单位，在某些情况下，数据元素也称为元素、结点、顶点、记录。数据元素 有时可以由若干数据项组成。 ? 数据类型：是一个值的集合以及在这些值上定义的一组操作的总称。通常数据类型可以看作是程序设计语言中已实现的数据结构。 ? 数据结构：指的是数据之间的相互关系，即数据的组织形式。一般包括三个方面的内容 :数据的逻辑结构、存储结构和数据的运算。 ? 逻辑结构：指数据元素之间的逻辑关系 ? 存储结构：数据元素及其关系在计算机存储器内的表示，称为数据的存储结构 ? 线性结构：数据逻辑结构中的一类。它的特征是若结构为非空集，则该结构有且只有一个开始结点和一个终端结点，并且所有结点都有且只有一个直接前趋和一个直接后继。线性表就是一个典型的线性结构。 栈、队列、串等都是线性结构。 ? 非线性结构：数据逻辑结构中的另一大类，它的逻辑特征是一个结点可能有多个直接前趋和直接后继。数组、广义表、树和图等数据结构都是非线性结构。

试举一个数据结构的例子、叙述其逻辑结构、存储结构、运算三个方面的内容。 答： 例如有一张学生体检情况登记表，记录了一个班的学生的身高、体重等各项体检信息。这张登记表中，每个学生的各项体检信息排在一行上。这个表就是一个数据结构。每个记录（有姓名，学号，身高和体重等 字段）就是一个结点，对于整个表来说，只有一个开始结点（它的前面无记录）和一个终端结点（它的后面无记录），其他的结点则各有一个也只有一个直接前趋和直接后继（它的前面和后面均有且只有一个记录）。这几 个关系就确定了这个表的逻辑结构是线性结构。 这个表中的数据如何存储到计算机里，并且如何表示数据元素之间的关系呢即用一片连续的内存单元来存放这些记录（如用数组表示）还是随机存放各结点数据再用指针进行链接呢这就是存储结构的问题。 在这个表的某种存储结构基础上，可实现对这张表中的记录进行查询，修改，删除等操作。对这个表可以进行哪些操作以及如何实现这些操作就是数据的运算问题了。 常用的存储表示方法有哪几种 答： 常用的存储表示方法有四种 : ? 顺序存储方法：它是把逻辑上相邻的结点存储在物理位置相邻的存储单元里，结点间的逻辑关系由存储单元的邻接关系来体现。由此得到的存储表示称为顺序存储结构，通常借助程序语言的数组描述。 ? 链接存储方法：它不要求逻辑上相邻的结点在物理位置上亦相邻，结点间的逻辑关系是由附加的指针字段表示。由此得到的存储表示称为链式存储结构,通常借助于程序语言的指针类型描述。 ? 索引存储方法：除建立存储结点信息外，还建立附加的索引表来标识结点的地址。组成索引表的索引 项由结点的关键字和地址组成。若每个结点在索引表中都有一个索引项，则该索引表称之为稠密索引（Dense Index）。若一组结点在索引表中只对应一个索引项，则该索引表称为稀疏索引。 ? 散列存储方法：就是根据结点的关键字直接计算出该结点的存储地址。 设三个函数 f,g,h 分别为 f(n)=100n 3+n2+1000 , g(n)=25n3+5000n2 , h(n)=+5000nlgn 请判断下列关系是否成立：

1蒙特卡罗算法举例

MC方法计算阴影部分面积 计算阴影部分面积。 一个古人要求一个图形的面积，他把图形画在一块方形布上，然后找来一袋豆子，然后将所有豆子洒在布上，落在图形内豆子的重量比上那块布上所有豆子的重量再乘以布的面积就是他所要求的图形的面积。 两种编程思路来计算这个面积： 方法一：将整个坐标轴看成一个边长为12的正方形，然后均匀的这个正方形分成N（N的大小取决于划分的步长）个点，然后找出N个点中有多少个点是属于阴影部分中，假设这个值为k，则阴影部分的面积为：k/N*12^2 方法二：将整个坐标轴看成一个边长为12的正方形，然后在（-6，6）中随机出N（N越大越好，至少超过1000）个点，然后找出这N个点中有多少个点在阴

影区域内，假设这个值为k，则阴影部分的面积为：k/N*12^2。然后重复这个过程100次，求出100次面积计算结果的均值，这个均值为阴影部分面积。 对比分析：以上两个方法都是利用蒙特卡罗方法计算阴影部分面积，只是在处理的细节有一点区别。前者是把豆子均匀分布在布上；后者则是随机把豆子仍在布上。就计算结果的精度而言，前者取决点的分割是否够密，即N是否够大；后者不仅仅通过N来控制精度，因为随机的因素会造成单次计算结果偏高和偏小，所以进行反复多次计算最后以均值来衡量阴影部分面积。 附上MATLAB程序： 方法一： clear x=-6:0.01:6; y=x; s=size(x); zs=s(1,2)^2; k=0; for i=1:s(1,2) for j=1:s(1,2) a1=(x(i)^2)/9+(y(j)^2)/36; a2=(x(i)^2)/36+y(j)^2; a3=(x(i)-2)^2+(y(j)+1)^2;

分治法实现快速排序与两路合并排序

实验报告 （2015 / 2016 学年第二学期） 课程名称 实验名称分治法实现快速排序与两路合并排序 实验时间年月日指导单位计算机学院计算机科学与技术系 指导教师 学生姓名班级学号 学院(系) 专业 实验报告

三、实验原理及内容 实验原理： 分治法：即分而治之。将问题分解为规模较小，相互独立，类型相同的问题进行求解。对于无序数组的有序排序也就是按某种方式将序列分成两个或多个子序列，分别进行排序，再将已排序的子序列合并成一个有序序列。 实验内容： 两路合并排序算法的基本思想是：将待排序元素序列一分为二，得到两个长度基本相等的子序列，其过程类似于对半搜索；然后将子序列分别排序，如果子序列较长，还可以继续细分，知道子序列长度不超过1为止。 以上的实现由下列代码执行： void SortableList::MergeSort() { MergeSort(0,n-1); } void SortableList::MergeSort(int left,int right) { if (left