基于摄像头的手势识别技术初步版本

基于摄像头的手势识别技术

1、手势识别的概念

手势是姿势的一个子集，姿势这个概念没有精确的定义。一般认为，手势概念经过人的于转化为的于势动作，观察者看到的是于势动作的图像雎1。手势的产生过程如图1-1所示。

图1-1

手势识别的过程则找一个从图像V到概念动作G的变换而，如图下所示。

2、手势识别流程

手势识别流程包手势图像获取、手势分割、手势特征提取、手势识别四大部分，如图2-1所示。

图2-1

3. 手势建模

在手势识别框架中，手势模型是一个最基本的部分。根据不同的应用背景，于势识别采用的模型会有不同，而对于不同的手势模型，采用的手势检测与跟踪算法、特征提取、识别技术也会有差别。手势建模主要分为基于表观的手势模型与基于三维的于势模型。

基于表观的手势建模是一种二维建模，从二维平面观察得到的平面图像信息描述于的特征。

基于表观的手势模型主要包括基于颜色的模型与基于轮廓的模型两种。

基于颜色的手势模型是把手势图像看作像素颜色的集合，通过提取手部的颜色的特征来描述手势。

基于颜色的手势模型的常用特征是颜色直方图。基于轮廓的手势模型是把手看作一个轮廓，通过提取手部图像中手的轮廓的几何特征来描述手势。

4. 手势检测与跟踪

手势检测与跟踪是手势识别处理流程中最前端的处理部分，它处理从摄像头获取到手势图像(序列)，从中检测和分割手势对象。如果是动态手势识别，还要对手进行跟踪。

基于运动信息的方法：

基于运动信息的方法是假设在视频中只有手是运动物体。

其中一种方法是背景减法。

它要求背景静止不变，把视频中的每帧与背景相减，背景相同的部分变为零，不同的部分就认为是运动的物体，即手。

另一种方法是帧间差分法

帧间差分，也称时域差分，是计算机视觉中最为简单快速的前景目标(特是运动前景目标)检测方法。它是基于背景象素点的灰度值和位置都不变的这一则来检测前景目标的。对同一手势序列中相邻两帧图像进行差分运算，这样能有的保留发生变化的部分，滤除图像中保持不变的大部分背景区域。

帧间的方法有很多变种，但最简单的就是在连续的视频图像帧间取绝对分。

S=|R1-R2|+|G1-G2|+|B1-B2|

其中，R1, G1, B1和R2, G2, B2分别是当前图像和前一帧图像中各像素点的RGB分量，通过计算S值并与事先给定的某一阂值k进行比较，当S>k时，认为此像素点属于变化的区域，当S

5. 手势特征提取

手势特征的提取是与手势模型密切相关的，不同的手势模型会有不同手势

特征。

5.1 静态手势特征

常用的静态手势特征有轮廓、位置、面积、手指分布等。

手的轮廓特征可以连续的点来表示。通过边缘检测算法，把图像区域的边缘检测出来，经过进行平滑和多边形拟合算法处理，得到多边形的顶点的序列。

在提取于的轮廓比较困难的情况下，或者为了提高计算效率，也可以通过计算轮廓的特征作为手势特征。例如A．Wilkowski通过以手部图像的外包矩形的边为坐标轴进行投影计算得到轮廓的直方图作为手的轮廓的特征，如图5-1所示。

图5-1 手的轮廓特征

手的位置特征是指手掌的质心位置，质心位置可以按公式5-1、公式5-2、公式5-3、公式5-4计算。手的面积特征通过计算手的轮廓的多边形面积即可。 对于二维图像，质心是通过计算零阶距和x 、Y 的一阶距得到的。假设二值化之后的图像为I(x ，Y)，质心(Xc ，Yc)的计算公式如下：

()∑∑=x y

y x I M ,00 5-1

()∑∑=x y

y x xI M ,10 5-2

()∑∑=x y

y x yI M ,01 5-3

0010M M x c =, 00

01M M y c = 5-4 于指特征的提取是一个关键的技术。经典的手指提取方法是利用手指距离手掌中心最远这个规律，把于的轮廓点的坐标转换成为以手掌中心位置为原点的极坐标系，然后分析轮廓曲线中的局部最大值(如图5-2所示)，最后通过映射规则把点的位置映射为手指。

由于我们通过手势的动作实现冰雕或雪雕的“捏，挤”等动态的动作，所以下面我们着重讲解动态手势。

动态手势特征

在动态于势中，由于于在空间和时间两个维度是都会发生变化，所以动态手势特征包含于的位置变化和手的形状变化。

手的位置变化可以通过计算手势的当前位置与上一个位置之间和位置偏移量得到。假设手的运动前后位置为(11,y x )和(11,++l l y x )，则可以计算出运动方向的角度t θ，最后把t θ进行量化得到对应的方向编码。

图：5-1手势运动方向编码

通过计算于势运动轨迹相邻点之间位移，得到运动的方向编码，组成手势运动向量特征。

基于模板匹配的方法

基于模板匹配的方法是采集静态手势作为样本，提取特征作为模板特征库。在识别时把输入的手势特征与模板库的模板进行匹配。其中比较经典的使用弹性图匹配(Elastic Graph Matching)方法。

在基于模板的识别方法中比较重要的是定义特征的距离函数。距离函数需要根据特征的特点来选取的。张国良、吴江琴、高文等人采用改进的Hausdorff 距

离来进行手势识别。Hausdorff距离是用来度量两个集合之间的相似度，它的数学定义如下：A和B是两个集合，元素个数分别是n和m。

a 表示元素a和b的距离。

其中b

6、动态手势识别

动态手势是具有时间和空间变化，手势特征量化编码之后成为时间上的符号序列。目前有许多方法可以对时间序列数据进行分类。

直方图(Histogram)

图像处理领域最基本的直方图技术在某些情况下用于动态手势识别是非常有效的。直方图能反映手势序列的整体特征。虽然它丢失了序列的时间特征，但是在一些手势种类少而且运动轨迹区别明显的手势识别应用，不失为一种好选择，它的识别处理效率很高。

动态时间规整(DTlr，Dynamic Time Warping)

经典方法动态时间规整(DTW，Dynamic Time Warping)在语音识别领域应用得很成功。DTW本质上是一种动态规划算法。手势识别与语音识别有许多相似之处，也可以使用DTW算法进行动态手势识别。

有限状态机(FSM，Finite State Machine)

以上就是基于摄像头的手势识别的基本内容。

手势识别技术综述

手势识别技术综述 作者单位：河北工业大学计算机科学与软件学院 内容摘要： 手势识别是属于计算机科学与语言学的一个将人类手势通过数学算法针对人们所要表达的意思进行分析、判断并整合的交互技术。一般来说，手势识别技术并非针对单纯的手势，还可以对其他肢体动作进行识别，比如头部、胳臂等。

但是这其中手势占大多数。本文通过对手势识别的发展过程、使用工具、目的与市场等进行综述，梳理出手势识别发展的思路，让读者对手势识别有一个总体上的认识，同时也可以让读者在此基础上进行合理想象，对手势识别的未来有一个大体印象。 Abstract: Gesture recognition is an interactive technology using mathematical arithmetic to the analysis,judge and assembly meaning that people want to convey which belongs to computer science and Linguistics.In general, gesture recognition technology is not for simple gestures expressed by hands ,it can also aim to other body movement recognition, such as the head, arm and so on. But the gesture accounted for most of the analysis. In this paper, by describing the development process, tools used , objective and market of gesture recognition , we can sort out the ideas of the development of gesture recognition, and let readers have an overall understanding of gesture recognition. At the same time, it can let the reader imagine that on hand gesture recognition based on reason ,and have a general impression of its future. 1.定义 说到手势识别，首先要对手势识别中的手势有一个清晰的认知。手势在不同的学科中有不同含义，而在交互设计方面，手势与依赖鼠标、键盘等进行操控的区别是显而易见的，那就是手势是人们更乐意接受的、舒适而受交互设备限制小的方式，而且手势可供挖掘的信息远比依赖键盘鼠标的交互模式多。在学术界，人们试图对手势定义一个抽象、明确而简洁的概念以为手势及其应用的研究提供依据。1990年Eric Hulteen和Gord Kurtenbach曾发表的题为“Gestures in Human-Computer Communication”中定义：“手势为身体运动的一部分，它包括一部分信息，而且是一种能被观察到的有意义的运动。挥手道别是一种手势，而敲击键盘不是一种手势，因为手指的运动没有被观察，也不重要，它只表示键盘

基于OpenCV识别库的面部图像识别系统的设计

基于OpenCV识别库的面部图像识别系统的设计 本系统采用J2EE技术并以OpenCV开源计算机视觉库技术为基础，实现一套具有身份验证功能的面部图像识别信息管理系统。系统使用MySQL数据库提供数据支撑，依托于J2EE的稳定性和Java平台的可移植性使得本系统可以在各个操作系统平台中运行，同时提供在互联网中使用面部识别技术的一套较为完备的解决方案。 标签：OpenCV；人脸识别；生物学特征 引言 随着信息技术的飞速发展以及互联网的深入普及，越来越多的行业和领域使用信息技术产品以提高工作效率和管理水平。但是由于人们隐私信息的保护意识薄弱，出现了许多信息安全的问题。在人们对于信息安全越来越重视的情况下，许多技术被应用到信息安全领域中来。较为先进的技术有虹膜识别技术、遗传基因识别技术以及指纹识别技术等。而论文采用的是当前热点的面部图像识别技术。 1 系统实现算法及功能分析 1.1 面部图像的生物学特征模型的建立 本系统是利用面部图形的生物学特征来识别不同的人。由于每个人的面部图像都有各自的特征但又具有一定的通性，需要应用生物学中相关知识加以解决。可以利用已有的生物学测量手段以及现有的算法构建人的面部图像生物学特征模型（简称：面部模型），并应用于系统中，面部模型的建立为面部图像识别的功能提供实现依据。 1.2 知识特征库及面部识别引擎的建立 在前述面部模型建立完成后，需要建立相应的知识库以及面部识别引擎方可进行身份的识别。可经过大量数据的采集和分析后建立知识库，并根据知识库的特点建立相应的识别引擎。此识别引擎对外开放，在本系统中提供其它外来程序的调用接口，其它系统能够通过本接口实现识别引擎的调用实现对于面部图形的识别，从而达到识别引擎的可复用性。在技术条件允许的情况下，提供知识库的智能训练以及半自动构建支持。 1.3 面部图像的采集与预处理 本系统中采用了预留API接口，利用USB图形捕获设备采集数据图像。经过USB设备的捕获，使用JMF（Java Media Framework）来处理已捕获的图像数据，对捕获的图像进行面部图行检测和实时定位跟踪。

基于手势识别的智能电视交互专利技术综述

基于手势识别的智能电视交互专利技术综述 智能电视具有操作系统，支持第三方应用资源实现功能扩展，支持多网络接入功能，具备人机交互、与其他智能设备进行交互等。随着计算机视觉的发展和人机交互的需要，手势识别研究取得了蓬勃的发展，通过手势识别对智能电视进行控制和操作，能够更轻松、高效地使用电视设备。文章利用专利数据库对智能电视手势识别技术进行了数据统计和分析，对该领域的专利申请趋势等情况做了归纳总结。 标签：智能电视；手势识别；发展状况；专利 Abstract：Intelligent TV has the operating system，which supports the third party application resources to realize the function expansion，supports the multi-network access function，has the man-machine interaction，and carries on the interaction with other intelligent devices. With the development of computer vision and the need of human-computer interaction，the research of gesture recognition has made great progress. By controlling and operating intelligent TV through gesture recognition，one can more easily and more efficiently use TV equipment. This paper makes use of patent database to analyze the data of intelligent TV gesture recognition technology，and summarizes the trend of patent application in this field. Keywords：intelligent TV；gesture recognition；development status；patent 引言 电视是家庭娱乐休闲必不可少的家用电器。如今，电视依然是最为普及的信息传播载体，用户在观看普通节目的同时，还可以上网、娱乐等。从用户的角度出发，通过自然简单、人性化的方式完成交互，无疑是用户完成电视操作的最佳方式。而手势具有直观、自然、丰富的特点，是一种符合人们日常习惯的交互手段，是表達信息和特定意图的良好载体，由于手势具有上述特性，因此在对智能电视进行操控中得到了良好的运用，实现了对智能电视自然灵活地操作。 1 基于手势识别的智能电视控制技术发展状态分析 1.1 技术分解 本文通过检索获得的专利申请进行统计分析，对基于手势识别的智能电视控制所涉及的具体技术和应用领域进行分解。 根据手势采集设备可以将手势识别系统大致分为基于数据手套和基于视觉的两种手势识别系统。其中，数据手套通过多个传感器反馈各关节的数据，并通过位置跟踪器返回人手所在的三维坐标，从而获取手势在三维空间中的位置信息和手指的运动信息。通过数据手套可以直接获取人手在三维空间中的位置和运动

关于计算机视觉的手势识别综述

关于计算机视觉的手势识别综述 蒋指挥 （江苏科技大学江苏镇江 213022） 摘要：计算机技术的高速发展也产生了许多新领域，在此对以计算机视觉为基础的手势检测识别技术展开综述。主要阐述该技术的发展历程、实现方法、研究现状以及其存在的不足之处和发展方向。结果表明简单的可穿戴设备的手势识别和深度视觉传感器的手势识别和多方法交叉融合的手势识别是未来该领域的发展方向。 关键词：计算机视觉；手势识别；人机交互 A survey of gesture recognition in computer vision//Jiang Zhi Hui Abstract;With the rapid development of computer technology, a lot of new fields have been developed. In this paper, the technology of gesture detection and recognition based on computer vision is reviewed. This paper describes the development of the technology, the realization method, the research status and its shortcomings and development direction. The results show that the simple wearable device for hand gesture recognition and depth vision sensor for hand gesture recognition and multi method cross fusion for gesture recognition is the future direction of the development of the field. Key words:Computer vision; gesture recognition; human-computer interaction 计算机在我们的生活中越来越不可或缺，我们同时也对计算机提出了更高的要求，计算机视觉的手势识别正是对计算机应用拓展的重要途径，例如现在的VR技术，就是应用了手势识别才实现的。ABIResearch公司高级分析师约书亚·弗拉德（JoshuaFlood）指出：“免提操作或手势识别很快将成为高端旗舰智能手机、媒体平板电脑和智能眼镜区别于其他同类产品的一个关键因素。三星电子最新推出银河S4已经将这项技术用于其手机中，并以其全新的用户体验获得用户交口称赞。此外，在一系列新型智能眼镜产品即将发布之时，不难想象这类技术将被采用。”其实手势识别技术涵盖了许多领域，比如物理学、生物学等，实现手势识别的方式有很多种从一开始的二维手型识别、二维手势识别到后来的三维手势识别，正是计算机视觉技术的发展使得手势识别的实现方式更加多样。但目前的技术仍然很繁琐，冗杂的可穿戴设备就直接影响了使用者的舒适感，其还有很大的发展空间。 1、手势识别的发展历程及其实现方法

三种简单手势识别

简单手势识别

一、背景 随着计算机的发展，人机交互技术由传统的鼠标键盘时代发展到了以语音输入、动作识别等技术为代表的自然交互时代n1。特别是视觉计算技术的发展，使计算机获得了初步视觉感知的能力，能“看懂”用户的动作。手势识别作为一种直观自然的输入方式，把人们从传统接触性的输入装置中解放出来，可以以一种更自然的方式与计算机交互，使计算机界面变得更加易‘引。 手势主要分为静态手势和动态手势两种，动态手势可以看作是连续的静态手势序列。动态手势具有丰富和直观的表达能力，与静态手势结合在一起，能创造出更丰富的语义。利用动态手势识别构建新型的交互界面，是新一代的人机交互界面对输入方式自然性的要求，可以弥补传统交互方式的不足。基于视觉和手势识别研究正处于蓬勃发展的阶段，仍存着的许多值得研究的问题。研究基于视觉的动态手势识别对于构建更加好友的人机交互界面很有意义。

二、手势识别概述 2.1、手势识别的概念 手势是姿势的一个子集，姿势这个概念没有精确的定义。一般认为，手势概念经过人的手转化为的手势动作，观察者看到的是手势动作的图像。手势的产生过程如图2-1所示。 图2-1 手势的产生过程 手势识别的过程则找一个从图像V到概念动作G的变换而，如图2-2所示。

2.2、手势识别流程 随着计算机的发展，人机交互技术由传统的鼠标键盘时代发展到了以语音输入、动作识别等技术为代表的自然交互时代n1。特别是视觉计算技术的发展，使计算机获得了初步视觉感知的能力，能“看懂”用户的动作。手势识别作为一种直观自然的输入方式，把人们从传统接触性的输入装置中解放出来，可以以一种更自然的方式与计算机交互，使计算机界面变得更加容易。 手势主要分为静态手势和动态手势两种，动态手势可以看作是连续的静态手势序列。动态手势具有丰富和直观的表达能力，与静态手势结合在一起，能创造出更丰富的语义。利用动态手势识别构建新型的交互界面，是新一代的人机交互界面对输入方式自然性的要求，可以弥补传统交互方式的不足。基于视觉和手势识别研究正处于蓬勃发展的阶段，仍存着的许多值得研究的问题。研究基于视觉的动态手势识别对于构建更加好友的人机交互界面很有意义。

基于3D 体感技术的动态手势识别

第27卷第4期2012年8月 光电技术应用 ELECTRO-OPTIC TECHNOLOGY APPLICATION Vol.27，No.4August ，2012 随着机器智能领域的迅猛发展，手作为人身体上最灵活的一个部位及人机交互的一个媒介，得到越来越多的应用。因此基于手势识别的各种应用也是层出不穷。手势是一种自然而直观的人际交流模式。手势识别也理所当然地成为了实现新一代人机交互不可缺少的一项关键技术。然而,由于手势本身具有的多样性（包括肤色、形态的差异性）、多义性（不同手势具有不同的意义）、以及时间和空间上的差异性（会受到光照等因素的影响）等特点,加之人手是复杂变形体及视觉本身的不适定性,因此基于视觉的手势识别是一个极富挑战性并具有很大应用空间的研究方向[1] 。 1手势识别技术的发展 手势识别分为两种，一种是静态的手势识别，即在 摄像头下检测到某个手势时就给出命令。另一种是动态手势识别，即能够识别手做的一些动作。随着3D 体感技术的出现，手势识别进入一个全新的领域。1.1静态手势识别 静态手势识别的常用方法主要有：基于模版匹配的，用边缘特征像素点作为识别特征，并利用Hausdorff 距离模板匹配完成静态手势识别[2]；基于SVM 支持向量机,通过皮肤颜色模型进行手势分割， 并用傅里叶描述子描述轮廓，采用针对小样本特别有效且范化误差有界的最小二乘支持向量机（LS －SVM ）作为分类器进行手势识别[3]以及集合模版匹配和机器学习理论的手势识别方法[4]等。但由于静态手势识别技术应用的局限性较大，不够灵活，使用人数在减少。 收稿日期：2012-06-24 作者简介：淦创（1990-），男，辽宁锦州人，大学本科，研究方向为计算机图像处理. ·信号与信息处理· 基于3D 体感技术的动态手势识别 淦 创 （北京航空航天大学，北京100191） 摘要：提出了一种基于3D 体感机Kinect 的图像处理手势识别算法，通过深度图像和骨骼图像的方法实现动态手势识别。首先在Kinect 提供的骨骼图像中20个骨点中，选取2个离手部最近的骨骼点，通过追踪这两个骨骼点的位置来实现对手部的追踪，再通过判断手部的深度（即其相对于摄像头的距离）的变化来实现动态手势识别。 关键词：深度图像；骨骼图像；手部追踪；动态手势识别中图分类号：TN94 文献标识码：A 文章编号：1673-1255（2012）04-0055-04 Dynamic Gesture Recognition Based on 3D Kinect GAN Chuang （Beijing University of aeronautics and astronautics,Beijing 100191,China ） Abstract ：A kind of gesture recognition algorithm of image processing based on 3D Kinect is proposed.The dynamic gesture recognition algorithm is performed by skeleton images and depth images.At first,two skeleton points which are nearest to hands are choosen from 20skeleton points in a skeleton image.The process of tracking hands is performed by tracking the positions of the two skeleton points.Then the dynamic gesture recognition pro?cess is realized by the change of depths of hands (the distance between a hand and a camera). Key words :depth image;skeleton image;hands tracking;dynamic gesture recognition

基于OpenCv的图像识别

基于2DPCA的人脸识别算法研究 摘要 人脸识别技术是对图像和视频中的人脸进行检测和定位的一门模式识别技术，包含位置、大小、个数和形态等人脸图像的所有信息。由于近年来计算机技术的飞速发展，为人脸识别技术的广泛应用提供了可能，所以图像处理技术被广泛应用了各种领域。该技术具有广阔的前景，如今已有大量的研究人员专注于人脸识别技术的开发。本文的主要工作内容如下： 1)介绍了人脸识别技术的基础知识，包括该技术的应用、背景、研究方向以及 目前研究该技术的困难，并对人脸识别系统的运行过程以及运行平台作了简单的介绍。 2)预处理工作是在原始0RL人脸库上进行的。在图像的预处理阶段，经过了图 象的颜色处理，图像的几何归一化，图像的均衡化和图象的灰度归一化四个过程。所有人脸图像通过上述处理后，就可以在一定程度上减小光照、背景等一些外在因素的不利影响。 3)介绍了目前主流的一些人脸检测算法，本文采用并详细叙述了Adaboost人脸 检测算法。Adaboost算法首先需要创建人脸图像的训练样本，再通过对样本的训练，得到的级联分类器就可以对人脸进行检测。 4)本文介绍了基于PCA算法的人脸特征点提取，并在PCA算法的基础上应用了 改进型的2DPCA算法，对两者的性能进行了对比，得出后者的准确度和实时性均大于前者，最后将Adaboost人脸检测算法和2DPCA算法结合，不仅能大幅度降低识别时间，而且还相互补充，有效的提高了识别率。 关键词：人脸识别 2DPCA 特征提取人脸检测

2DPCA Face Recognition Algorithm Based on The Research Abstract：Face recognition is a technology to detect and locate human face in an image or video streams,Including location, size, shape, number and other information of human face in an image or video streams.Due to the rapid development of computer operation speed makes the image processing technology has been widely applied in many fields in recent years. This paper's work has the following several aspects: 1)Explained the background, research scope and method of face recognition,and introduced the theoretical method of face recognition field in general. 2)The pretreatments work is based on the original ORL face database. In the image preprocessing stage, there are the color of the image processing, image geometric normalization, image equalization and image gray scale normalization four parts. After united processing, the face image is standard, which can eliminate the adverse effects of some external factors. 3)All kinds of face detection algorithm is introduced, and detailed describing the Adaboost algorithm for face detection. Through the Adaboost algorithm to create a training sample,then Training the samples of face image,and obtaining the cascade classifier to detect human face. 4)This paper introduces the facial feature points extraction based on PCA ,and 2DPCA is used on the basis of the PCA as a improved algorithm.Performance is compared between the two, it is concluds that the real time and accuracy of the latter is greater than the former.Finally the Adaboost face detection algorithm and 2DPCA are combined, which not only can greatly reduce the recognition time, but also complement each other, effectively improve the recognition rate. Key words：Face recognition 2DPCA Feature extraction Face detection

手势识别---人工神经网络

手势识别---人工神经网络 一．手势识别综述 随着计算机性能的逐步提高和各领域对计算机使用的不断深入，人与计算机的交互活动越来越成为人们日常生活中的一个重要组成部分。鼠标和键盘等传统的的人机交互方式越来越显示出它们的局限性，尤其在虚拟现实、增强现实和可穿戴计算等新兴的应用中变得更为明显。近年来，手势交互作为一种新的人机交互方式被越来越多地采用，特别是基于视觉的手势交互，由于其简单、自然、直观和非侵犯性等特性已成为手势交互的重要方式之一。 手势是一种自然、直观、易于学习的人机交互手段。以人手直接作为计算机的输入设备，人机间的通讯将不再需要中间的媒体，用户可以简单地定义一种适当的手势来对周围的机器进行控制。手势研究分为手势合成和手势识别，前者属于计算机图形学的问题，后者属于模式识别的问题。手势识别技术分为基于数据手套和基于计算机视觉两大类。 1.1 手势识别的发展 最初的研究主要集中在做一种专用硬件设备来进行输入。例如数据手套，即人可以戴上一个类似于手套的传感器，计算机通过它可以获：取手的位置、手指的伸展状况等丰富信息。如l993年B.Thamas等人做的自由手遥控目标的系统是凭借数据手套作为输入的媒介，但这需要实验者呆上一个专用设备。之后人们又致力于标记手势的研究，即通过在手上作标记，例如在手腕和手指处贴上或画上特殊颜色的圆点，用来识别手势。这虽然给识别带来了方便，但同样给实验者带来麻烦。最后人们终于把注意力集中到自然手上，通过专用加速硬件和脱机训练，一些研究者成功地研制了手势系统，但其识别的手势仅限几种。例如Freeman 和Roth等人提出的基于方向直方图的手势识别系统。l994年，作

基于摄像头的手势识别技术初步版本

基于摄像头的手势识别技术 1、手势识别的概念 手势是姿势的一个子集，姿势这个概念没有精确的定义。一般认为，手势概念经过人的于转化为的于势动作，观察者看到的是于势动作的图像雎1。手势的产生过程如图1-1所示。 图1-1 手势识别的过程则找一个从图像V到概念动作G的变换而，如图下所示。 2、手势识别流程 手势识别流程包手势图像获取、手势分割、手势特征提取、手势识别四大部分，如图2-1所示。 图2-1

3. 手势建模 在手势识别框架中，手势模型是一个最基本的部分。根据不同的应用背景，于势识别采用的模型会有不同，而对于不同的手势模型，采用的手势检测与跟踪算法、特征提取、识别技术也会有差别。手势建模主要分为基于表观的手势模型与基于三维的于势模型。 基于表观的手势建模是一种二维建模，从二维平面观察得到的平面图像信息描述于的特征。 基于表观的手势模型主要包括基于颜色的模型与基于轮廓的模型两种。 基于颜色的手势模型是把手势图像看作像素颜色的集合，通过提取手部的颜色的特征来描述手势。 基于颜色的手势模型的常用特征是颜色直方图。基于轮廓的手势模型是把手看作一个轮廓，通过提取手部图像中手的轮廓的几何特征来描述手势。 4. 手势检测与跟踪 手势检测与跟踪是手势识别处理流程中最前端的处理部分，它处理从摄像头获取到手势图像(序列)，从中检测和分割手势对象。如果是动态手势识别，还要对手进行跟踪。 基于运动信息的方法： 基于运动信息的方法是假设在视频中只有手是运动物体。 其中一种方法是背景减法。 它要求背景静止不变，把视频中的每帧与背景相减，背景相同的部分变为零，不同的部分就认为是运动的物体，即手。

基于opencv对图像的预处理

基于opencv 对图像的预处理 1.问题描述 本次设计是基于opencv 结合c++语言实现的对图像的预处理，opencv 是用于开发实时的图像处理、计算机视觉及模式识别程序；其中图像的预处理也就是利用opencv 对图像进行简单的编辑操作；例如对图像的对比度、亮度、饱和度进行调节，同时还可以对图像进行缩放和旋转，这些都是图像预处理简单的处理方法；首先通过opencv 加载一幅原型图像，显示出来；设置五个滑动控制按钮，当拖动按钮时，对比度、亮度、饱和度的大小也会随之改变，也可以通过同样的方式调节缩放的比例和旋转的角度，来控制图像，对图像进行处理，显示出符合调节要求的图像，进行对比观察他们的之间的变化。 2.模块划分 此次设计的模块分为五个模块，滑动控制模块、对比度和亮度调节模块、饱和度调节模块、缩放调节模块、旋转调节模块，他们之间的关系如下所示： 图一、各个模块关系图 调用 调用 调用 调用 滑动控制模块 对比度和亮度调节模块 饱和度调节模块 缩放调节模块 旋转调节模块

滑动控制模块处于主函数之中，是整个设计的核心部分，通过createTrackbar创建五个滑动控制按钮并且调用每个模块实现对图像相应的调节。 3.算法设计 （1）滑动控制： 滑动控制是整个设计的核心部分，通过创建滑动控制按钮调节大小来改变相应的数据，进行调用函数实现对图像的编辑，滑动控制是利用createTrackbar()，函数中包括了滑动控制的名称，滑动控制显示在什么窗口上，滑动变量的地址和它调节的最大围，以及每个控制按钮应该调用什么函数实现什么功能； （2）对比度和亮度的调节： 对比度和亮度的调节的原理是依照线性理论，它的公式如下所示：g(x)=a* f(x) +b，其中f(x)表示源图像的像素，g(x)表示输出图像的像素，参数a（需要满足a>0）被称为增益（gain），常常被用来控制图像的对比度，参数b通常被称为偏置（bias），常常被用来控制图像的亮度； （3）饱和度的调节： 饱和度调节利用cvCvtColor( src_image, dst_image, CV_BGR2HSV )将RGB 颜色空间转换为HSV颜色空间，其中“H=Hue”表示色调，“S=Saturation”表示饱和度，“V=Value ”表示纯度；所以饱和度的调节只需要调节S的大小，H 和V的值不需要做任何的改变； （4）旋转的调节： 旋转是以某参考点为圆心，将图像的个点（x，y）围绕圆心转动一个逆时针角度θ，变为新的坐标（x1,y1）,x1=rcos(α+θ)，y1=rsin(α+θ)，其中r是图像的极径，α是图像与水平的坐标的角度的大小； （5）缩放的调节： 首先得到源图像的宽度x和高度y，变换后新的图像的宽度和高度分别为x1和y1，x1=x*f，y1=y*f，其中f是缩放因子； 4.函数功能描述 （1）主函数main（）用来设置滑动控制按钮，当鼠标拖动按钮可以得到相应的数据大小，实现手动控制的功能，当鼠标拖动对比度和亮度调节是，主函数调用

基于手势识别的人机交互综述

基于手势识别的人机交互综述 摘要：近年来，得益于虚拟现实、人机界面技术、计算机视觉等领域的发展，基于手势识别的人机交互技术得到大力的推动。本文就基于手势识别的人机交互技术展开综述。首先概括手势交互的涉及领域，回顾其发展史和国内外研究现状。接着阐明它的基本界定和分类，并在此基础上分析其热点关键技术。然后实例讨论了几种类型手势交互的典型应用。最后给出了结论。 关键词：虚拟现实；手势交互；计算机视觉；手势识别；特征跟踪 1．引言 人机交互技术通过输入、输出设备，以有效的方式实现交互主体与交互客体的对话。当前的人机交互技术已经从过去交互主体适应交互客体，发展为交互客体不断地适应交互主体的习惯和以交互主体为中心的新阶段[1,2,3,4]。以用户为中心的，新型、自然的人机交互技术逐渐成为开发者和科研工作者的关注重点。这类交互方式要求输入与输出能够最大限度地符合交互主体的行为习惯，并能够在交互主体的脑中顺利构建交互环路。由于手势具有极强的信息表述功能，加之人手操作行为本身就是人与世界相互作用的主要方式，因此，基于手识别的人机交互技术相关研究有着重要的理论价值和应用价值。基于手势识别的人机交互技术涉及计算机科学、认知心理学、行为学等诸多方面的知识。本文不能面面俱到，仅就手势交互的基本问题：手势语义的分类，以及当前发展概况、研究热点技术和典型系统应用等相关问题进行综述。 2．研究现状 目前，基于视觉的手势交互已被广泛的研究，由于手势本身的多义性及时空差异性，加之手形变的高维度及视觉问题本身的不适定性，基于视觉的手势识别一直是一项极富挑战性的究课题[5]。需要解决的核心问题是对手形的识别，对手势的跟踪等。传统的方法主要分为两大类：（1）基于模型（model-base）的方法；（2）基于表征(appearance-based)的方法[6]。这些方法及其衍生算法极大程度地依赖于计算机科学中虚拟现实、机器视觉、模式识别、人机交互等多个领域的交流与合作。相关的国际会议：CHI、ICCV、CVPR、ICAT、IEEE VR 为研究者提供了一个能充分交流的空间，并吸引了越来越多的研究人员共同参与合作。此外，学科之间的交流也吸引了心理学研究人员的共同参与。他们以从用户为中心出发，为基于手势交互研究和开发提出了宝贵意见[7]。纵观手势交互的发展历程，其研究重点也从早期简单的系统框架、低层特征提取[8]、手形模板匹配[8]等问题转变到关节式物体跟踪[9,10, 11]、跟踪性能评价[12]、操作型手势解析[14]等问题上。我国在基于手势识别的人机交互领域的研究近年来得到了长足的发展。研究机构集中在国内的研究所和高校的科研单位。目前国内手势交互的研究成果主要有：中国科学院软件研究所[15]的研究中，对二阶自回归过程动力学模型（Auto-Regressive Process, ARP）进行训练和学习，进而建立基于ARP 的预测模型，实现了人手运动的鲁棒性跟踪，在出现跟踪丢失的情况下在后续序列中可以自动恢复正确跟踪。中国科学院自动化研究所模式识别实验室提出一种基于区域的多连接体(手指)的三维运动跟踪算法[13]，用多约束融合的方法以及手指的运动特性，建立多刚体的三维运动描述，通过三类基本约束条件，把跟踪问题归结为一个约束误差优化问题。清华大学的崔锦实博士，提出一种基于回归－优化方法的关节式物体的姿态估计方法[16]。该方法把回归分析与全局优化搜索相结合，保证了估计的精度和连续性；针对现有滤波器在高维非线性多峰

2019年全球主要手势识别技术系统细分行业分析

2019年全球主要手势识别技术系统细分行业分析 1、以数据手套为输入设备的手势识别系统 目前使用广泛的人机交互设备是数据手套（DataGlove）。数据手套反馈各关节的数据，并经一个位置跟踪器返回人手所在的三维坐标，从而来测量手势在三维空间中的位置信息和手指等关节的运动信息。这种系统可以直接获得人手在3D空间中的坐标和手指运动的参数，数据的精确度高，可识别的手势多且辨识率高。缺点是数据手套和位置跟踪器价格昂贵，有时也会给用户带来不便，如持戴的手部出汗等。 由于神经网络很适合用快速、交互的方式进行训练，可用于静态手势和动态手势的输入，网络连接的权值也可以根据情况调整，各种用户都能适应手势识别系统。它的缺点是对设备的依赖性高，一旦需更换数据手套，则须重新训练网络。 2、以摄像机为输入设备的手势识别系统 输入设备可用单个或多个摄像头或摄像机来采集手势信息，经计算机系统分析获取的图像来识别手势。摄像头或摄像机的价格相对较低，但计算过程较复杂，其识别率和实时性均较差。其优点是学习和使用简单灵活，不干扰用户，是更自然和直接的人与计算机的交互方式。 目前较成功的实现手势识别的系统，均为依据手掌轮廓区域的几何特征，如手的重心及轮廓、手指的方向和形状等进行分析完成识别，或根据手掌的其他特征，如手掌的运动轨迹、手掌的肤色及纹理等进行分析识别。 手势模型的选取在手势识别系统中，对确定识别范围起着关键性作用。模型的选取往往跟具体应用有关， 不同的应用目的选取不同的模型。比如，对于某个给定的目的，可以先建立简单粗糙的模型，而后再跟据需要建立精细有效的手势模型，这对于实现自然的人机交互是必须的，可使绝大部分手势都能被系统正确的识别出来。 目前，手势模型有基于表观的手势模型和基于3D模型的手势模型。前者通过分析手势在图像（序列）里的表观特征给手势建模，它是建立在手（臂）图像的表观之上的。后者的建模方法则略有不同，其先对手和臂的运动姿态建模，然后再估计手势模型参数。 图表1：同一手势的5种模型图 资料来源：蒂华森咨询

表情识别技术综述

表情识别技术综述 摘要：表情识别作为一种人机交互的方式，成为研究的热点。基于对表情识别的基本分析，文章重点介绍了面部表情识别的国内外研究情况和面部表情特征的提取方法。 关键词：表情识别；特征提取；表情分类。 前言：进入21世纪，随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。 正文：一、面部表情识别的国内外研究情况 面部表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物识别技术如指纹识别、虹膜识别、人脸识别等相比，发展相对较慢，应用还不广泛。但是表情识别对于人机交互却有重要的价值，因此国内外很多研究机构及学者致力于这方面的研究，并己经取得了一定的成果。 进入90年代，对面部表情识别的研究变得非常活跃，吸引了大量的研究人员和基金支持。美国、日本、英国、德国、荷兰、法国等经济发达国家和印度、新加坡都有专门的研究组进行这方面的研究。其中MIT的多媒体实验室的感知计算组、CMu、Ma州大学的计算机视觉实验室、Standford大学、日本城蹊大学、大阪大学、ArR研究所的贡献尤为突出。 国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有专业人员从事人脸表情识别的研究，并取得了一定的成绩。在1999年的国家自然科学基金中的“和谐人机环境中情感计算理论研究”被列为了重点项目。同时中国科学院自动化所、心理所以及国内众多高校也在这方面取得了一定的进展。2003年，在北京举行了第一届中国情感计算与智能交互学术会议，会议期间集中展示了国内各研究机构近几年来从认知、心理、模式识别、系统集成等多种角度在情感计算领域取得的研究成果，一定程度上弥补了我国这方面的空白。国家“863”计划、“973”项目、国家自然科学基金等也都对人脸表情识别技术的研究提供了项目资助。 二、面部表情特征的提取方法 表情特征提取是表情识别系统中最重要的部分，有效的表情特征提取工作将使识别的性能大大提高，当前的研究工作也大部分是针对表情特征的提取。 目前为止的人脸面部表情特征提取方法大都是从人脸识别的特征提取方法别演变而来，所用到的识别特征主要有:灰度特征、运动特征和频率特征三种阎。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别。频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。在具体的表情识别方法上，分类方向主要有三个:整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。 整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。其中典型的方法有:基于特征脸的主成分分析(prineipalComponentAnalysis，pCA)法、独立分量分析法(Indendent ComPonent Analysis，ICA)、Fisher线性判别法(Fisher’s Linear Discriminants，FLD)、局部特征分析(LoealFeatureAnalysis，LFA)、Fishe诞动法(Fisher^ctions)、隐马尔科夫模型法(HideMarkovModel，HMM)和聚类分析法。

基于卷积神经网络的简单背景手势识别方法概述

基于卷积神经网络的简单背景手势识别方法概述 摘要在手勢识别研究方法日益成熟的今天，研究人员把主要精力放在新算法的研究以及旧方法的改进上，均取得了很好的成果。本文利用时下流行的卷积神经网络训练方法，避开大量的算法研究工作，把主要工作放在手势数据的获取以及处理上，在一定的数据范围内取得了很好的结果。在一定程度上给手势识别工作提供了新的思路。 关键词手势识别；手势数据；卷积神经网络 Abstract Today，as gesture recognition research methods become more and more mature，researchers have made great efforts to focus on the research of new algorithms and the improvement of old methods. In this paper，we use the popular Convolutional Neural Network （CNN）training method to avoid a lot of algorithm research work. The main work is on the acquisition and processing of gesture data，and it has achieved good results in a certain data range. To a certain extent，it provides a new idea for gesture recognition. Keywords Gesture recognition；Gesture data；Convolutional neural network 前言 以输入数据来区分，手势识别可以分为静态手势识别和动态手势识别。动态手势识别是基于视频流数据，实现手势动作捕捉，本质上是把视频流分为每一帧图像数据，处理每一帧图像之间的关系，从而识别出动态手势的含义。静态手势识别也称为手型识别，其输入数据是一副静态的手势图像，计算机系统通过前期对大量手势图像的训练学习，熟知手势图像的特征，从而识别出这一副静态手势图像的含义。本文的主要工作是通过卷积神经网络方法对简单背景的手势图像进行训练，得到训练模型，利用该训练模型对新采集的手势图像数据进行识别，达到预期的识别率。 1 研究方法 手势识别的研究方法有很多种，例如利用SIFT特征提取配合SVM训练的方法[1]，利用HOG特征提取的研究方法[2]等。但这些研究方法对于图像质量太多依赖，如SIFT方法太过依赖局部梯度主方向，而获取局部梯度主方向往往都会有偏差，因此图像质量不佳容易导致特征提取的错误。且SIFT是一种只利用到灰度性质的算法，忽略了色彩信息，对于彩色图像的识别无能为力。 而本文采用的卷积神经网络方法则不存在该问题，卷积神经网络对于图像的容错性较强，可以不考虑图像质量、色彩等影响，关键是训练的样本量足够大，就可以得到相对理想的结果。且卷积神经网络的算法通用性强，对于识别任何类型的静态图像，都可以用几乎相同的训练模型进行，区别仅仅在于某些参数的调