搜档网
当前位置:搜档网 › HEVC帧内预测模式和分组码的视频信息隐藏_王家骥

HEVC帧内预测模式和分组码的视频信息隐藏_王家骥

HEVC帧内预测模式和分组码的视频信息隐藏_王家骥
HEVC帧内预测模式和分组码的视频信息隐藏_王家骥

DOI:10.16136/j.j

oel.2015.05.0954HEVC帧内预测模式和分组码的视频信息隐藏

王家骥,王让定*,李 伟,徐达文,徐 健

(宁波大学纵横智能软件研究所,浙江宁波315211

)摘要:为了在最新的视频压缩标准-高效视频编码(HEVC)下实现信息隐藏并在保证隐秘信息嵌入容量的前提下减少对宿主信息的修改,提出基于帧内预测模式和分组码的HEVC视频信息隐

藏方法。首先,利用分组码的标准阵列译码方法,建立(4,3)码标准阵列译表;然后,根据译码表与预测模式的映射关系,调制帧内4×4亮度块的预测模式嵌入隐秘信息;最后,对调制后的4×4亮度块重新编码,使得在连续4个4×4帧内亮度块嵌入3bit隐秘信息,平均修改1.25位预测模式,减小因调制预测模式对视频造成的影响。实验结果表明:所提算法的PSNR值下降在0.05

dB以内,码率增长在1%左右,算法能很好的保证视频主客观质量,对视频的编码比特率影响很小。

关键词:信息隐藏;高效视频编码(HEVC)

;帧内预测;分组码中图分类号:TP391 文献标识码:A 文章编号:1005-0086(2015)05-0942-

09Video information hiding in intra prediction and block codes forHEVC

WANG Jia-ji,WANG Rang-ding*

LI Wei,XU Da-wen,XU Jian(CKC Software Laboratory

,Ningbo University,Ningbo 315211,China)Abstract:At the premise of ensuring 

embedding capacity,to reduce the modification of host for high effi-ciency video coding(HEVC)information hiding,which is the latest video compression standard,an in-formation hiding 

algorithm for HEVC based on intra prediction and block codes is proposed.In the firstplace,we establish a(4,3)standard array decoding table with the principle of the standard array.Thenwe modify 

the intra prediction modes in 4×4luminance blocks according to the mapping between thematrix and the prediction mode.Finally,re-encode the changed block with the substitutive predictionmode.It makes that four 4×4luminance blocks embed 3bit information and modify 

1.25predictionmodes on average,which reduces the impact of the prediction mode modulation on the quality of the vid-eo.Experimental results show that the bit-rate increases by 

about 1%and the peak signal-to-noise ratio(PSNR)loss is just about 0.05dB.The proposed hiding algorithm can effectively embed informationwith little influence on the bit-rate and quality 

of the cover video.Key 

words:information hiding;high efficiency video coding(HEVC);intra prediction;block code1 引 言

随着数字化多媒体信息应用和传播的普及,

信息安全问题变得日益突出[

1]

。信息隐藏技术已成为隐秘通信和版权保护的有效手段,可以有效

遏制数字化多媒体的非法使用[

2]

。在多媒体信息隐藏技术中,数字视频的信息隐藏是极其重要的

组成部分,应用非常广泛。由于视频本身数据量庞大,其通常是以压缩的形式进行存储和传输。

高效视频编码(

HEVC)是最新一代视频压缩编码标准,其核心目标是在H.264/AVC的基础

上,压缩效率提高1倍,在高清、超高清等视频应

* E-mail:wangrangding

@nbu.edu.cn收稿日期:2014-12-18 修订日期:

2015-04-08基金项目:国家自然科学基金(61170137,61301247,61300055)、浙江省自然科学基金(LY13F020013)、宁波市自然科学基金(2013A610059)和浙江省“信息与通信工程”重中之重学科(XKX11405

资助项目

用领域发挥重要作用[3],目前绝大多数视频信息隐藏算法都是基于H.264/AVC的,如基于修改DCT系数、调制运动矢量信息和调制预测模式的隐藏方案等。在针对帧内预测模式的H.264/AVC信息隐藏算法研究中,文献[4]根据模式调制过程中的率失真(RD)代价值,同时可在I帧、P帧和B帧调制宏块的编码模式嵌入隐秘信息,模式调整后做了优化处理;文献[5]等通过分析帧内4×4亮度块的参考像素亮度值的波动情况,根据隐秘信息与预测模式的映射关系,调制最优预测模式为与隐秘信息奇偶性相同且率失真代价值最小的预测模式完成信息嵌入;文献[6]引入矩阵编码,建立隐秘信息和预测模式的映射关系,在三个帧内4×4亮度块中嵌入两比特隐秘信息,只需修改一位预测模式;文献[7]等在文献[6]算法的基础上,引入嵌入/提取矩阵,在7个4×4亮度块嵌入3bit隐秘信息只需修改一位预测模式,有效避免了比特率的过快增长,但是隐秘信息嵌入容量不高。

基于HEVC标准下的信息隐藏算法还处在起步阶段。在文献[8]利用拉格朗日率失真模型自适应的选取帧内编码模式以决定是否嵌入隐秘信息,调制预测模式变为与隐秘信息奇偶性相匹配的模式中RD开销最小的预测模式,采用纹理复杂度算子LBP对帧内亮度块进行筛选,选取纹理复杂度高的区域作为嵌入区域,但由于视频是有损压缩,解码端的重建像素值与编码端的原始像素值存在差异性,在解码端提取隐秘信息时会存在差异性,造成提取的隐秘信息不一致,需要在编码端记录嵌入块的起点作为密钥传送给解码端,增加了信息的不安全性;文献[9]根据统计的最优预测模式和次优预测模式的概率分布情况,建立预测模式和隐秘信息的分组映射关系,基于映射关系调制预测模式嵌入隐秘信息,修改1bit载体信息嵌入2比特隐秘信息,替换的预测模式选取临近的预测效果相近的模式,嵌入容量大幅提高,但是嵌入后视频的主客观质量和嵌入容量与统计的分组映射表密切相关,由于统计存在局限性,分组的理由不是很充分,且不具有普遍适应性,视频的码率增长2%以上,PSNR值下降0.05dB以上,对嵌入后的视频影响较大;文献[10]针对帧内4×4亮度块预测编码过程中具有方向性的33种预测模式,根据预测模式和角度值的映射表,将预测模式映射成角度值,通过建立的隐秘信息和预测模式角度差的映射关系,调制模式之间的角度差完成信息嵌入,由于预测模式的敏感性,修改预测模式极易造成视频质量的下降,虽然将

角度差值区间分散化以尽量减少失真,但调制后的预测模式的预测效果依然与最优预测模式差距较远。

通过以上分析,之前提出的算法在嵌入后视频的编码比特率和客观评价标准PSNR值影响较大,存在改进的空间。为了在保证隐秘信息嵌入率的前提下减小修改预测模式位数,本文提出了一种基于帧内预测模式和分组码的HEVC视频信息隐藏算法,利用分组码的标准阵列译码方法,调制帧内4×4亮度块的预测模式完成信息嵌入;建立(4,3)码标准阵列译码表,根据译码表与预测模式的映射关系,在4个4×4帧内亮度块嵌入3bit隐秘信息,平均修改1.25位预测模式,减小因嵌入隐秘信息造成的视频客观质量下降的影响。信息的提取过程只需对预测模式解码即可,满足实时性的需求。

2 HEVC标准中的帧内预测

2.1 帧内预测

HEVC的帧内编码原理上沿用H.264/AVC的帧内编码技术,利用像素点在空间的相关性,当前宏块的像素值通过相邻已编码并重建宏块的边界像素值进行预测[12]。最优帧内预测模式的选择过程是通过遍历所有帧内预测模式,采用拉格朗日率失真优化模型选取代价最小的作为最优预测模式。相比于H.264/AVC帧内编码中固定宏块的尺寸大小,HEVC采用了更大尺寸的编码单元(CU),尺寸从64×64到8×8。对于每一帧视频图像,均是以最大编码单元(LCU)为单位进行编码,采用递归四叉树结构进行划分,直到划分为最小编码单元(SCU)为止。同时,相比H.264/AVC中带有方向性的8种帧内预测模式,如图1所示,HEVC细化并大大丰富了帧内预测模式的数量,提供了多达35种,如图2所示,

图1 H.264/AVC帧内预测方向

Fig.1 Intra prediction modes for H.264/AVC

·

·

第5期 王家骥等:HEVC帧内预测模式和分组码的视频信息隐藏

图2 HEVC帧内35种预测模式Fig.2 35intra p

rediction modes for HEVC包括33种角度预测模式、DC模式和Planar模式,模式个数的增多使得帧内编码更加精细和准确,减少空间冗余

[13]

2.2 4×4亮度块的帧内预测模式的选择

HE

VC帧内预测模式的选择过程分为以下3个阶段。

首先,

计算35种帧内预测模式基于哈德玛变换值SATD的代价值COST,并按照代价值递增的顺序进行排序,

然后根据预测单元尺寸大小选出代价值最小的一组模式为粗选子集;

其次,

考虑到预测单元之间的空间相关性,验证当前待预测单元左侧和上侧已预测编码完成的预测单元的最优预测模式,

即最有可能预测模式是否在粗选列表中,组成帧内预测模式候选列表;

最后,

对候选列表中的预测模式依次进行RD代价值的精密计算,代价最小的模式即为最优预测模式。

3 信息隐藏算法

3.1 信息隐藏原理

对于传统的L

SB信息隐藏方法,普遍情况下隐秘信息和LSB均匀分布,若在所有LSB上进行信息隐藏,将会使1/2的LSB发生改变。为了降低因嵌入隐秘信息造成的宿主载体质量下降的影响,宿主

信息的修改位数应尽可能的减少。Crandall[1

3]提出如果隐秘信息的嵌入长度小于宿主信息的长度,可以采用矩阵编码的方法减小对LSB的修改。然而,利用矩阵编码进行信息隐藏,减小了修改宿主信息的位数,但信息嵌入率不高,对隐藏容量造成了影

响。张等人[15]提出一种利用分组码的标准阵列译码

方法建立任意嵌入率的信息隐藏方法,

一方面提高了隐秘信息的嵌入率以减小修改宿主信息位数的同时保证嵌入容量,另一方面译码表本身即可作为一层密钥,加强对隐秘信息的保护。本文将调制帧内预测模式与分组码相结合,提出一种基于HEVC标准的视频信息隐藏方法。

标准阵列的原理是对给定的(

n,k)线性码,将2n

个重划分为2k个子集的一种方法,即把2n

个可能的

接收矢量划分成2k

个不相交的子集{D1,D2,

…,Dn}

,使每个子集只含有一个码矢。表1是构造的一个(n,k)

分组码范例,先把2n-k

个码矢置于第1行,其中零码矢C1=(0,0,…0)置于最左面,其余C2,C3,

…,C2

n-k依次排列置于第1行。在剩余2n-2k个从中选择一个码重最轻的E2置于C1下方,表的第2行为E2与每个码矢Ci相加,并把E2+Ci置于Ci的下方,完成第2行。第3行从剩余的n重中选择一个码重最轻的E3置于E2下方,将E3+Ci置于Ci之下完成第3行,依此类推,直到全部n重用完为止,得到

表1 (n,k)

码标准阵列译码表Tab.1 (n,k)standard array decoding 

table·

449· 光

电子·激光 2

015年 第26卷

标准阵列译码表。表1中,每一行的2n-k个元素成为一个陪集,其中最左边的元素成为陪集首,其余元素成为陪集元素。从标准阵列译码表可以看出,同一行中没有出现相同的矢量,且个重中任何一个n重在阵列中出现一次且仅出现一次。 构造完译码表后,k bit隐秘信息可以对应陪集中的任何一个元素。对于一个长度为n的宿主信息a,嵌入k bit隐秘信息,将k bit隐秘信息对应的标准阵列译码表中的陪集中的码字与a比对,选取陪集中与a汉明距离最近的码字b,将a修改成码字b,从而将隐秘信息嵌入。提取隐秘信息时,获取码字b并查找译码表即可得到隐秘信息。

结合HEVC帧内预测过程,针对连续4个4×4帧内亮度块,构造出(4,3)码标准阵列译码表,见表2。对其预测模式做奇偶映射,即当奇数集合为{1,3,5,…,33}时映射为1,偶数集合为{0,2,4,…,34}时映射为0,得到4位二进制码字a。读入3位隐秘信息,查找译码表对应的陪集,将得到的4位二进制码字a与查找到的陪集比对,求取汉明距离,选取距离近的码字b。比对码字a与码字b,找到a与b的不同位,将码字a中不同位所对应的预测模式做修改。修改规则为:将不同位对应的4×4亮度块最优预测模式替换为与其奇偶性相反的预测模式中RD代价最小的预测模式,best-md为最优预测模式,sub-md为替换预测模式,即

sub-md=arg[min

J(mj,λMD)]mj∈S(1)

S={md|md mod2≠best-md mod2}(2)

表2 (4,3)码标准阵列译码表

Tab.2 (4,3)standard array decoding table

The secret

informationCoset Coset first Coset element000 0 0000 1111

001 1 1000 0111

010 2 0100 1011

011 3 0010 1101

100 4 0001 1110

101 5 1001 0110

110 6 0101 1010

111 7 0011 1100

按照映射规则修改预测模式,完成隐秘信息的嵌入。提取隐秘信息时,提取预测模式,对其做奇偶映射,得到4位二进制序列,查找译码表中的隐秘信息,得到嵌入信息。 为了说明嵌入原理,我们举例说明。针对4个连续的帧内4×4亮度块,提取其预测模式,假设4位预测模式为(5,8,16,21),对其做奇偶映射,得到4位二进制码字a=(1,0,0,1)。设隐秘信息为(0,1,1),查找表1,得到(0,1,1)对应的陪集中的码字(0,0,1,0)和(1,1,0,1)。将a与陪集比对,求取汉明距离,a与(0,0,1,0)的汉明距离为3,与(1,1,0,1)的汉明距离为1,选择汉明距离近的码字b,即b=(1,1,0,1)。比对a与b,只有第二位不同,更改4个连续4×4亮度块中第2个亮度块的预测模式,将其最优预测模式替换为与其奇偶性不同的预测模式中率失真代价值最小的预测模式,假设为模式7,这时4位预测模式变为(5,7,16,21)。提取隐秘信息时,只需对帧内模式解码,为(5,7,16,21),做奇偶映射,得到(1,1,0,1)码字,查表即可得到隐秘信息(0,1,1)。3.2 隐秘信息嵌入过程

本文提出的算法是根据预测模式与译码表的映射关系完成嵌入,具体步骤如下:

1)针对4个连续的帧内4×4亮度块,提取其预测模式,并对4位预测模式做奇偶映射;

2)读入3位隐秘信息,根据(4,3)码标准阵列译码表,计算需要更改的4×4亮度块的预测模式并得到替换的预测模式;

3)用替换的预测模式对该4×4亮度块重新编码,其他未修改的4×4亮度块保留原预测模式;

4)将调整的4×4块与其他编码模式进行率失真比较,如果4×4块编码模式的RD代价小,保留嵌入信息;如果其它编码模式的RD代价小,不保存嵌入信息,下一个4×4编码模式重新嵌入当前信息; 5)重复以上操作,直至全部嵌入完毕或视频结束。

3.3 隐秘信息的提取

隐秘信息的提取简单、快速,只需对I帧部分解码即可提取隐秘信息。具体步骤如下:

1)判断当前宏块的编码模式为Intra-Frame中的4×4编码模式,如果当前块的编码模式为其它编码模式,则对当前块不进行隐秘信息的提取,执行第3步;如果当前块的编码模式为4×4编码模式,解码包括此4×4块在内的连续4个4×4帧内亮度块的预测模式。

2)对解码出的连续4个4×4块的预测模式做奇偶映射,得到4位二进制码字,通过查找此二进制码字对应的(4,3)码标准阵列译码表中的隐秘信息,得到嵌入信息。

·

·

第5期 王家骥等:HEVC帧内预测模式和分组码的视频信息隐藏

)对下一个4×4块重复以上操作,直到隐藏序列提取完毕或视频序列解码完毕。

4 实验结果分析

在HE

VC的参考软件HM12.0上进行了仿真,参考软件的主要编码配置参数见表3,其余参数均采用默认配置。

图3分别给出了隐秘信息嵌入前后视频图像。

从主观感知上,本文算法的信息隐藏嵌入并没有对视频重建图像的视觉感知失真。为了进一步评价视频质量,引入基于人眼视觉模型的视频质量客观评

价指标SSIM(structural similarity

)[15]

,SSIM∈[0,1],SSIM值越高意味着被评价对象与参考源就越一

致。图4给出了隐秘信息嵌入前后测试序列的SSIM平均值,

从图可以看出,隐秘信息嵌入后视频测试序列的SSIM值都在0.97以上,

算法对视频的图3 嵌入隐秘信息前后重建图像质量比较

Fig.3 Comparison of the visual quality 

between the original and the marked frames质量几乎没有影响。

除了判断视频的感知质量,

还从视频的客观质量DPSNR、编码比特率(BRI)和嵌入容量(HBQ)对算法评估。其中,DSNR和BRI的定义分别为

DPSNR=PSNR′-PSNR(3

) B

RI=R′-RR

×1

00%(4)其中:PSNR和PSNR′分别表示嵌入前后视频的PSNR值;R′和R分别是隐藏信息后和未隐藏信息的比特率。

图5为隐秘信息嵌入前后的P

SNR值曲线图。从图可以看出,嵌入前后PSNR值变化很微小,看不出明显差别,载密视频与原始视频的PSNR差值都在0.05dB以内。

表3 参考软件HM的主要参数配置Tab.3 Configuration parameters of the HMParameter ValueFrames to be encoded 

96Frame rate 30Intra period 16GOPSize 8RDOQTS 

·

649· 光

电子·激光 2

015年 第26卷

表4为Q

P=26时测试序列的性能测试结果。通过对表中的数据分析,可以得到以下结论: 1

)不同的测试序列,由于视频内容不同,帧内4×4亮度块的数目不相同,

嵌入容量就会存在差表4 性能测试结果

Tab.4 Experimental results of the comprehensive p

erformanceSeq

uenceMethod in 

Ref.[9]Prop

osed methodBRI/%DPSNR/dB HBQ/bits BRI/%DPSNR/dB HBQ/bitsBasketballDrill 

1.07-0.05 17 705 0.94-0.04 16 681Vidyo_3 0.93-0.03 11 153 0.78-0.02 10 450Vidyo_4 0.88-0.02 6 153 0.60-0.01 6 952Johnny 0.83-0.02 8 426 0.84-0.01 8 293BQMall 

1.46

-0.08 

22 834 

1.33

-0.05 

22 

71

1图4 视频质量测试结果(SSIM值)

Fig.4 Exp

erimental result for video quality(SSIM)异性。

)对相同测试序列,PSNR值和码率出现波动性的原因除了将修改块的最优预测模式替换为次优预测模式造成的影响外,更重要的原因是对相邻块

的预测造成偏差。假设调制4个连续4×4帧内亮度块的第2个块的预测模式,

将其调制为替换模式,其他块保留原预测模式。第2个块的重建像素值会发生变化,对于第3个和第4个4×4亮度块而言,由于参考像素值发生变化,原预测模式可能不是当前最优的预测模式,对视频的PSNR值和码率造成一定的影响。

3)通过对比实验可以看出,

本算法在编码比特率上低于文献[9],且PSNR值方面也有所提高,隐藏容量略有下降。这里需要说明,文献[9]

是在4个4×4帧内亮度块嵌入4比特隐秘信息,

本文在4个4×4帧内亮度块嵌入3bit隐秘信息。通过表4可以看出,两种算法的隐藏容量并没有相差很多,都利用了拉格朗日率失真模型自适应的选取帧内编码模式以决定是否嵌入隐秘信息。对于相同的测试序列,由于本文提出的算法的对视频的影响小,通过调制帧内4×4亮度块的预测模式嵌入隐秘信息,

帧内

4·749·第5期 王家骥等:HEVC帧内预测模式和分组码的视频信息隐藏

图5 嵌入信息前后PSNR的曲线

Fig.5 The PSNRcurves before and after data hiding

×4编码模式的数目可能多于文献[9],嵌入容量并没有下降很多,个别测试序列甚至高于文献[9]。

为了评价算法性能,将文献[6]、[7]提出的算法在HEVC标准测试模型HM12.0上实现,结果如图6~9所示。

文献[7]采用的是矩阵编码的方法,在3个帧内4×4亮度块嵌入2bit信息,只修改一位预测模式。定义改变比率D(k)=m/n,,嵌入率R(k)=k/n,其中m为修改宿主信息的比特数,k为嵌入的隐秘信息比特数,n为宿主载体信息比特数。文献[7]方案的D(k)为25%,R(k)为66.7%。本文为了提高隐秘信息的R(k),采用的是线性分组码的方法,在4个帧内4×4亮度块嵌入3bit信息,R(k)为75%,D(k)为31%,平均修改1.25位预测模式,D(k)稍高于文献[7]方案,码率上略微增加,视频客观质量PSNR值仅下降0.01dB左右,嵌入容量有明显提升。

为了保证嵌入容量相近,对文献[6]的方法稍作

修改,在4个帧内4×4亮度块嵌入3bit信息。文献[6]的嵌入方法是根据隐秘信息与预测模式的奇偶映射关系调制帧内预测模式,D(k)为50%,高于本算法。从图8、图9可以看出,提出算法编码性能优于文献[6]方案,码率有所下降,视频客观质量PSNR值有所提高。

就基于帧内预测模式信息隐藏算法的缺陷作如下说明。首先,相比于其他视频信息隐藏方案,例如基于DCT系数的信息隐藏算法,针对一个亮度块修改一位系数,可以嵌入1bit隐秘信息,对视频的影响较小。基于帧内预测模式的信息隐藏算法,每一个亮度块修改一位系数,同样嵌入1bit隐秘信息,但是预测模式的修改直接影响到整个亮度块像素值的变化,对视频的影响较大,极易造成视频质量的下降。其次,视频在没有遭到任何攻击的前提下,隐秘信息可以完整提取。对基于帧内预测模式的信息隐藏算法做重压缩攻击,重新压缩含有隐秘信息的视频测试序列,由于像素值会发生变化,导致重压缩后编码模式和预测模式发生转移,此时再提取隐秘信息时,不能正常提取,误码率较高。该类算法是脆弱的,鲁棒性较差。

5 结 论

提出了一种基于帧内预测模式和分组码的HEVC视频信息隐藏算法,利用分组码的标准阵列译码方法,调制帧内4×4亮度块的预测模式完成信息嵌入。在减小修改预测模式位数的前提下,提高隐秘信息的嵌入率,在4个连续的4×4帧内亮度块嵌入3bit隐秘信息,平均修改1.25位预测模式,有效降低对视频质量和码率造成的影响。信息提取时,只需对码流中的预测模式解码即可。实验结果表明,嵌入算法造成的平均SSIM值下降0.003以

·

· 光电子·激光 2015年 第26卷

内,PSNR值下降在0.05dB以内,编码比特率增长1%左右,

很好地保证视频的主客观质量,满足视频信息隐藏的不可见性、码率稳定性以及实时性等要求

图6 隐藏容量比较 图7 编码比特率比 Fig.6 Comparison of the hiding 

capacity Fig.7 Comparison of the bit-rate 图8 文献[

7]与本算法的PSNR差值 图9 本算法与文献[6]的PSNR差值 Fig.8 The PSNRdifference between the proposed Fig.9 The PSNRdifference between the prop

osed method and Ref.[6] method and 

Ref.[5]参考文献:

[1] XU Da-wen,WANG Rang-ding,SHI Y Q.Data hiding 

inencrypted H.264/AVC video streams by codeword Sub-stitution[J].IEEE Transactions on Information Forensicsand Security

,2014,9(4):596-606.[2] YANG Ren-er,ZHENG Zi-wei,JIN Wei.Cover 

selectionfor image steganography based on image characteristics[J].Journal of Optoelectronics·Laser,2014,25(4):764-768.

杨任尔,郑紫薇,金炜.基于图像特征的隐写术载体图像的选择[J].光电子·激光,2014,25(4):764-768.[3] Han G J,Ohm J R,Han W J,et al.Overview of the hig

hefficiency video coding(HEVC)standard[J].Circuits andSystems for Video Technology,IEEE Transactions on,2012,22(12):1649-

1668.[4] HU Yang,ZHANG Chun-tian,SU Yu-ting.Information hiding

for H.264/AVC[J].Acta Electronica Sinica,2008,36(4):690-

694.胡洋,张春田,苏育挺.基于H.264/AVC的视频信息隐藏算法[J].电子学报,2008,36(4):690-

694.[5] WANG Rang-ding,ZHU Hong

-liu,XU Da-wen.Informationhiding algorithm for H.264/AVC based on encoding mode[J].Opto-Electronic Engineering,2010,37(5):144-150.王让定,朱洪留,徐达文.基于编码模式的H.264/AVC视频信息隐藏算法[J].光电工程,2010,37(5):144-150.

·949·第5期 王家骥等:HEVC帧内预测模式和分组码的视频信息隐藏

[6] XU Da-wen,WANG Rang-ding.An improved informationhiding algorithm with prediction mode modulating for H.264/AVC[J].Opto-Electronic Engineering,2011,38

(11):99-105.

徐达文,王让定.一种基于预测模式的H.264/AVC视频

信息隐藏改进算法[J].光电工程,2011,38(11):99-

105.

[7] Yang G B,Li J J,He Y L,Kang Z W.An information hidingalgorithm based on intra-prediction modes and matrixcoding for H.264/AVC video stream[J].AEU-Internation-

al Journal of Electronics and Communications,2011,65

(4):331-337.

[8] YIN Qiu-lai,WANG Hong-xia,ZHAO Yan.An informationhiding algorithm based on intra-prediction modes for H.264 video stream[J].Journal of Optoelectronics·Laser,2012,23(11):2194-2199.

尹秋来,王红霞,赵阳.一种基于预测模式的H.264视频

信息隐藏算法[J].光电子·激光,2012,23(11):2194-

2199.

[9] WANG Jia-ji,WANG Rang-ding,LI Wei,et al.An informa-tion hiding algorithm for HEVC based on intra prediction

[J].Journal of Optoelectronics·Laser,2014,25(8):1578-1585.

王家骥,王让定,李伟,等.一种基于帧内预测模式的

HEVC视频信息隐藏算法[J].光电子·激光,2014,25

(8):1578-1585.

[10]WANG Jia-ji,WANG Rang-ding,LI Wei,et al.A high-ca-pacity information hiding algorithm for HEVC based on in-

tra prediction mode[J].Journal of Computational Informa-

tion Systems,2014,10(20):8933-8943.[11]WANG Jia-ji,WANG Rang-ding,XU Da-wen,et al.An in-formation hiding algorithm for HEVC based on angledifferences of intra prediction mode[J].Journal of Soft-

ware,2015,10(2):213-221.

[12]Lainema J,Bossen F,Han W J,et al.Intra coding of theHEVC standard[J].Circuits and Systems for Video Tech-

nology,IEEE Transactions on,2012,22(12):1792-1801.[13]Kim I K,Min J,Lee T,et al.Block partitioning structure inthe HEVC standard[J].Circuits and Systems for VideoTechnology,IEEE Transactions on,2012,22(12):1697-

1706.

[14]Crandall R.Some notes on steganography[EB/OL].ht-tp://os.inf.tu-dresden.de/-westfeld/crandall.pdf,1998.

[15]ZHANG Tao,PING Xi-jian.Steganalysis of spatial LSB-based steganographic algorithms and counter-measures

[J].Journal of China Institute of Communications,2003,24(12):156-163.

张涛,平西建.空域LSB信息伪装的隐写分析及其对策

[J].通信学报,2003,24(12):156-163.

[16]Wang Z,Bovik A C,Sheikh H R,et al.Image quality as-sessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612.

作者简介:

王让定 (1962-),男,甘肃省天水市人,博士,教授,主要研究方向是信息隐藏、数字取证和数字水印.

·

· 光电子·激光 2015年 第26卷

国际主流视频编码标准优化代码的对比测试-文档资料

国际主流视频编码标准优化代码的对比测试 王中元(1972- ),男,湖北英山人,讲师,博士,主要研究方向为视频编/ 解码、多媒体通信; 朱福喜(1957- ),男,湖北新洲人,教授,博导,博士,主要研究方向为人工智能等. (武汉大学a. 计算机学院; b. 国家多媒体软件工程技术研究中心; c. 档案馆,武汉430072) 以H.263、MPEG-4、H.264 三种标准作为测试对象,在 Win/Intel 平台上测试了优化后编码器的计算效率、编码效率和码率控制精度,并对测试结果进行了比较和分析。测试数据为开发人员在一定硬件性价比的约束条件下实现视频编码器提供了参考。 Test?Band?Bcomparison?Bon?Boptimized?Bcode?Bof?Bmajor?B international?Bvideo?Bcoding?Bstandards LI Naa,c, WANG Zhong-yuanb, ZHU Fu-xia (a.School of Computer, b.National Multimedia Software Engineering Research Center, c.Archives, Wuhan University, Wuhan 430072, China) This paper selected H.263,MPEG-4 and H.264 video

coding standards as test object to measure such performance index as compression efficiency,calculation efficiency and rate control accuracy on Win/Intel platform. And illustrated the-analysis and comparison on experiment results too. These test datum could be served as a reference guide for designer who would develop video coding application with the constraint on hardware performance and price ratio. 几乎在每一种视频标准的制定过程中或者发布后,都有专家将该标准与它前期的同类标准作压缩效率和计算复杂度的客观比较测试[1] 。这些测试数据尽管有它一定的学术意义,但是对实际开发的指导价值非常有限。其原因有两点:a) 测试过程往往涵盖了编码工具的全集,而在实际应用中不太可能启用所有编码选项,因此,这样测试的压缩效率数据已经背离了实际应用条件; b) 在计算复杂度的对比测试中,一般均使用伴随标准发布的参考源码,而这些源码仅仅是用来验证算法的,它充其量也只是对算法的一种数学描述。在标准的实现过程中,免不了要对编/ 解码器(CODE)展开算法优化和代码 优化,这些优化往往又要结合

图像的帧内预测编码

图像的帧内预测编码 设计内容:对一幅彩色或者灰度图像二维帧内预测编码,采用4阶线性预测器,根据最小均方误差原则(MMSE)设计预测器系数,并对预测误差进行量化处理,根据量化后的误差得到解码图像。 设计目的:掌握图像的预测编解码的原理。 课题要求:对任意大小的输入图像进行二维帧内预测编码,设计最佳预测器系数,比较不同图像预测器系数的共同点和不同点。对预测误差进行量化处理后,根据误差图像接到解码图像,对比图像质量,计算信噪比。以下是从网上找的 clc; clear all; close all; I2=imread('D:\MATLAB7\tuxiang\messi.bmp');%读入图片 I=double(I2);%设定I是double类型 fid=fopen('mydata.dat','w'); [m,n]=size(I); J=ones(m,n); J(1:m,1)=I(1:m,1); J(1,1:n)=I(1,1:n); J(1:m,n)=I(1:m,n);%把I(1,1)赋值给J(1,1) J(m,1:n)=I(m,1:n); for k=2:m-1 for l=2:n-1 J(k,l)=I(k,l)-(I(k,l-1)/2+I(k-1,l)/4+I(k-1,l-1)/8+I(k-1,l+1)/8);%前值预测,J为要拿来编码传输的误差 end end J=round(J) cont=fwrite(fid,J,'int8'); %解码 cc=fclose(fid); fid=fopen('mydata.dat','r'); I1=fread(fid,cont,'int8'); tt=1; B=ones(m,n) for l=1:n for k=1:m B(k,l)=I1(tt); tt=tt+1; end end B=double(B);

常见的几种高清视频编码格式

高清视频的编码格式有五种,即H.264、MPEG-4、MPEG-2、WMA-HD以及VC-1。事实上,现在网络上流传的高清视频主要以两类文件的方式存在:一类是经过MPEG-2标准压缩,以tp和ts为后缀的视频流文件;一类是经过WMV-HD(Windows Media Video High Definition)标准压缩过的wmv文件,还有少数文件后缀为avi或mpg,其性质与wmv是一样的。真正效果好的高清视频更多地以H.264与VC-1这两种主流的编码格式流传。 H.264编码 H.264编码高清视频 H.264是由国际电信联盟(iTU-T)所制定的新一代的视频压缩格式。H.264 最具价值的部分是更高的数据压缩比,在同等的图像质量,H.264的数据压缩比能比当前DVD系统中使用的 MPEG-2高2~3倍,比MPEG-4高1.5~2倍。正因为如此,经过H.264压缩的视频数据,在网络传输过程中所需要的带宽更少,也更加经济。在 MPEG-2需要6Mbps的传输速率匹配时,H.264只需要1Mbps~2Mbps 的传输速率,目前H.264已经获得DVD Forum与Blu-ray Disc Association采纳,成为新一代HD DVD的标准,不过H.264解码算法更复杂,计算要求比WMA-HD 还要高。 从ATI的Radeon X1000系列显卡、NVIDIA的GeForce 6/7系列显卡开始,它们均加入对H.264硬解码的支持。与MPEG-4一样,经过H.264压缩的视频文件一般也是采用avi 作为其后缀名,同样不容易辨认,只能通过解码器来自己识别。 总的来说,常见的几种高清视频编码格式的特点是能够以更低的码率得到更高的画质,相同效果的MPEG2与H.264影片做比较,后者在容量上仅需前者的一半左右。这也就意味着,H.264不仅能够节省HDTV的存储空间,而且还可以

视频编码标准汇总及比较

视频编码标准汇总及比较 MPEG-1 类型:Audio&Video 制定者:MPEG(Moving Picture Expert Group) 所需频宽:2Mbps 特性:对动作不激烈的视频信号可获得较好的图像质量,但当动作激烈时,图像就会产生马赛克现象。它没有定义用于额外数据流进行编对码的格式,因此这种技术不能广泛推广。它主要用于家用VCD,它需要的存储空间比较大。 优点:对动作不激烈的视频信号可获得较好的图像质量。 缺点:当动作激烈时,图像就会产生马赛克现象。它没有定义用于额外数据流进行编对码的格式,因此这种技术不能广泛推广。 应用领域:Mixer 版权方式:Free 备注:MPEG-1即俗称的VCD。MPEG是ISO/IEC JTC1 1988年成立的运动图像专家组(Moving Picture Expert Group)的简称,负责数字视频、音频和其他媒体的压缩、解压缩、处理和表示等国际技术标准的制定工作。MPEG-1制定于1992年,它是将视频数据压缩成1~2Mb/s的标准数据流。对于清晰度为352×288的彩色画面,采用25帧/秒,压缩比为50:1时,实时录像一个小时,经计算可知需存储空间为600MB左右,若是8路图像以每天录像10小时,每月30天算,则要求硬盘存储容量为1440GB,则显然是不能被接受的。 --------------------------------------------------------------------------------------------- MPEG-2

类型:Audio&Video 制定者:MPEG(Moving Picture Expert Group) 所需频宽:视频上4.3Mbps,音频上最低的采样率为16kHz 特性:编码码率从每秒3兆比特~100兆比特,是广播级质量的图像压缩标准,并具有CD 级的音质。MPEG-2的音频编码可提供左、右、中及两个环绕声道,以及一个加重低音声道,和多达7个伴音声道。作为MPEG-1的兼容性扩展,MPEG-2支持隔行扫描视频格式和其它先进功能,可广泛应用在各种速率和各种分辨率的场合。但是MPEG-2标准数据量依然很大,不便存放和传输。 优点:MPEG-2的音频编码可提供左、右、中及两个环绕声道,以及一个加重低音声道,和多达7个伴音声道,具有CD级的音质。可提供一个较广的范围改变压缩比,以适应不同画面质量、存储容量以及带宽的要求。支持隔行扫描视频格式和其它先进功能,可广泛应用在各种速率和各种分辨率的场合。 缺点:压缩比较低,数据量依然很大,不便存放和传输,如用于网络方面则需要较高的网络带宽,因此不太适合用于Internet和VOD点播方面。 应用领域:Mixer 版税方式:按个收取(最初的收费对象为解码设备和编码设备,中国DVD制造商每生产一台DVD需要交纳专利费16.5美元。向解码设备和编码设备收取的专利授权费每台2.5美元) 备注:MPEG-2是其颁布的(活动图像及声音编码)国际标准之一,制定于1994年,是为高级工业标准的图像质量以及更高的传输率而设计,为了力争获得更高的分辨率 (720×486),提供广播级视频和CD级的音频,它是高质量视频音频编码标准。在常规电视的数字化、高清晰电视HDTV、视频点播VOD,交互式电视等各个领域中都是核心的技术之一。由于MPEG-2在设计时的巧妙处理,使得大多数MPEG-2解码器也可播放MPEG-1格式的数据,如VCD。MPEG-2的音频编码可提供左、右、中及两个环绕声道,以及一个加重低音声道,和多达7个伴音声道。我们平时所说的DVD就是采用MPEG-2编码压缩,所以可有8种语言的配音。除了作为DVD的指定标准外,MPEG-2的应用前景非常的广阔,

帧内预测模式

帧内宏块预测编码模式的改进:主要是提前退出,从而减少运算次数,达到提高运动估计速度的目标。或者根据周围块的预测编码模式提前预判本块可能的编码模式,减少计算量。还可以采取减少编码模式的策略,将很少使用的编码模式直接省略。利用纹理信息预先排除不可能的编码模式。 1、提前预判编码模式:根据周围块的预测模式提前预判本块编码模式。 (1)16X16块时 当LEFT和TOP都存在时,其编码模式最多有4种,I_PRED_16x16_V | I_PRED_16x16_H | I_PRED_16x16_DC | I_PRED_16x16_P; 当只有左块LEFT存在时,其编码模式有两种:I_PRED_16x16_DC_LEFT | I_PRED_16x16_H; 当只有上块TOP存在时,其编码模式有两种:I_PRED_16x16_DC_TOP | I_PRED_16x16_V;当左块和上块都不存在时,其编码模式只能为:I_PRED_16x16_DC_128。 (2)4X4块时 当LEFT和TOP都存在时,可能编码模式分两种情形: (A)当左上块也存在时,有9种:I_PRED_4x4_DC | I_PRED_4x4_H | I_PRED_4x4_V | I_PRED_4x4_DDL | I_PRED_4x4_DDR | I_PRED_4x4_VR | I_PRED_4x4_HD | I_PRED_4x4_VL | I_PRED_4x4_HU; (B)当左上块不存在时,有6种:I_PRED_4x4_DC | I_PRED_4x4_H | I_PRED_4x4_V | I_PRED_4x4_DDL | I_PRED_4x4_VL | I_PRED_4x4_HU; 当只有左块存在时,可能编码模式有3种:I_PRED_4x4_DC_LEFT | I_PRED_4x4_H | I_PRED_4x4_HU; 当只有上块存在时,可能编码模式有4种:I_PRED_4x4_DC_TOP | I_PRED_4x4_V | I_PRED_4x4_DDL | I_PRED_4x4_VL; 当左块与上块都不存在时,其编码模式只能为:I_PRED_4x4_DC_128。 (3)提前预判准则:在预测编码中,由于每帧图像的第一列宏块和第一行宏块的编码模式对其他块的编码模式起着非常重要的作用,所以对第一行和第一列宏块的编码模式不进行提前预判别。除此之外,当左块和上块都存在且它们的编码模式相同时:PRED_MODE = LEFT_MODE = TOP_MODE。(包括4X4分块及16X16宏块)考虑其最可能的预测模式为垂直模式,所以当垂直模式与水平模式代价相等时,首选垂直模式为其最优模式。 2、提前跳出:主要针对是否进行4X4分块;如果进行4X4分块,能否提前结束4X4块的编码模式代价运算。 (1)当左块和上块都存在,且其最小代价编码模式都为16X16时,不进行4X4分块运算。(2)对于16X16宏块,当该16X16块的某次编码模式代价很小时(某个阈值),直接结束代价运算,并把该次编码模式选定为该16X16块代价最小16X16编码模式 (3)如果进行4X4分块运算,当该4X4块的某个编码模式代价很小时(某个阈值),直接结束代价运算,并把该次编码模式选定为该4X4块代价最小4X4编码模式。 (4)如果4X4块编码代价和已经大于16X16模式时,提前结束4X4分块代价运算,并且选用16X16模式为最小代价编码模式。 3、利用纹理信息:根据纹理信息预先排除或者选择可能的编码模式 (1)16X16块时 (A)当纹理信息极其复杂(可以计算宏块像素点差值的平方和,即当其大于某个阈值时,也即无明显边界),直接将该16X16块编码模式设置为I_PRED_16x16_DC_128。 (B)如果纹理很复杂时,直接进行4X4块子编码模式代价计算(可以计算宏块像素点差值的平方和,即当其大于某个阈值且不满足A中的条件时)

帧间预测原理及过程函数

帧间预测是采用基于块的运动补偿从一个或多个先前编码的图像帧中产生一个预测模型的。 H.264与早起标准的主要不同之处在于支持不同的块尺寸(从16×16到4×4)以及支持精细子像素精度的运动矢量(亮度成分是1/4像素精度) 每个宏块(16×16)的亮度分量可以按四种方式划分,即按一个16×16块,或两个16×8块,或两个8×16块,或者4个8×8块的划分进行运动补偿。如果选择8×8模式,宏块中的4个8×8子宏块可以用另一种方式进一步划分,或者作为一个8×8块,或作为两个8×4块,或作为两个4×8块,或者作为四个4×4块。 每个分块或者子宏块都产生一个单独的运动矢量。每个运动矢量均需要编码和传输,同时分块模式信息需要进行编码并放在压缩比特流中。 每个色度块按照与亮度分量同样的分块方式进行划分。 编码每个分块的运动矢量需要大量比特位。由于相邻块的运动矢量高度相关,所以每个块的运动矢量都是从邻近的先前编码块中进行预测得到的。当前运动矢量与预测运动矢量MVp 的差值MVD被编码和传输。 MVp的预测规则如下: 假设E是当前宏块、子宏块或子宏块分块,A是E左边的分块或子分块,B是E上边的分块或子分块,C是E右上的分块或子分块。如果E左边的分块数大于1,则最上边的分块被选为A。如果E上边的分块数大于1,则最左边的分块被选为B。 1.除了16×8和8×16两种分块尺寸的其余传输块,MVp是分块A、B、C的运动矢量的中值(不是平均值) 2.对于16×8分块,上边16×8分块的MVp是从B预测得到的,下边16×8分块的MVp 是从A预测得到的。 3.对于8×16分块,左边8×16分块的MVp是从A预测得到的,右边8×16分块的MVp 是从C预测得到的。 4.对于skip宏块,产生一个16×16块的MVp,和第1种情况一样。MVp的形成规则相应修改。 如果得不到一个或多个先前传输块的话(如,它在当前条带之外),则MVp的形成原则相应修改。 ——————————————————————————————————————–Yeah! 又可以看实例了: 这里对foreman_part_qcif.yuv的第二帧中地址为40的宏块(白色框框住,图贴在文章开头)进行分析,关键代码还是在encode_one_macroblock_high中,由于该帧是P帧,所以会进行帧间预测。其中最重要的函数为BlockMotionSearch,该函数为所有大小的分块完成运动搜

X264帧内预测编码模式

X264帧内预测编码模式 帧内宏块预测编码模式:分别计算16X16和16个4X4块的代价,取两者中最小代价为该宏块的编码模式。 1、进行16X16模式的预测 (1)根据周围宏块的情况判断其可能的预测模式。(主要是上块TOP和左块LEFT) (2)计算各种可能模式的编码代价 (3)取最小代价 2、进行4X4块模式的预测 (1)根据周围宏块情况判断其可能的预测模式。(可以参考其他相邻宏块) (2)计算每个4X4块的每种预测模式的编码代价,并取代价最小 (3)将16个4X4块的最小代价相加,得到总代价和。 3、将16X16模式的代价与4X4模式的代价和进行比较,取两者最小为最后的宏块预测编码模式。 X264中的代码分析: static void x264_mb_analyse_intra( x264_t *h, x264_mb_analysis_t *a, int i_satd_inter )//函数功能:帧内预测编码模式选择 { const unsigned int flags = h->sh.i_type == SLICE_TYPE_I ? h->param.analyse.intra : h->param.analyse.inter; //判断是进行I片内的宏块帧内预测编码还是P或B片(帧间片)内的帧内模式预测编码uint8_t *p_src = h->mb.pic.p_fenc[0]; uint8_t *p_dst = h->mb.pic.p_fdec[0]; int i, idx; int i_max; int predict_mode[9]; int b_merged_satd = h->pixf.intra_satd_x3_16x16 && h->pixf.mbcmp[0] == h->pixf.satd[0]; /*---------------- Try all mode and calculate their score ---------------*/ /* 16x16 prediction selection */ predict_16x16_mode_available( h->mb.i_neighbour, predict_mode, &i_max );//获取16X16的可用预测编码模式 if( b_merged_satd && i_max == 4 )//如果b_merged_satd不为0且可用预测编码模式有4种,I帧时直接跳过 { h->pixf.intra_satd_x3_16x16( p_src, p_dst, a->i_satd_i16x16_dir ); h->predict_16x16[I_PRED_16x16_P]( p_dst ); a->i_satd_i16x16_dir[I_PRED_16x16_P] = h->pixf.mbcmp[PIXEL_16x16]( p_dst, FDEC_STRIDE, p_src, FENC_STRIDE );

帧间预测运动估计算法研究

帧间预测运动估计算法研究 帧间预测编码法是视频编码过程中消除冗余的重要方法。运动估计和运动补偿技术是视频帧间预测编码中的核心技术。详细研究了块匹配运动估计的基本原理,重点介绍了几种经典的块匹配运动估计算法,通过实验定性地评价了各算法的性能特点,分析了各算法的优缺点,总结出了运动估计算法优化的方向,对目前运动估计技术的研究和设计具有重要意义。 标签:帧间预测编码;时间冗余;块匹配;运动估计;运动矢量 Abstract:Motion estimation and motion compensation are the core technologies in video inter-frame prediction coding. The basic principle of block matching motion estimation is studied in detail,and several classical block matching motion estimation algorithms are introduced in detail. The performance characteristics of each algorithm are evaluated qualitatively through experiments,and the advantages and disadvantages of each algorithm are analyzed. Keywords:interframe prediction coding;time redundancy;block matching;motion estimation;motion vector 引言 幀间预测是视频编码的关键内容,而运动估计是其核心。据统计在H.264/A VC编码中运动估计约占全部计算量的60%到80%,所以运动估计算法的性能至关重要。块匹配算法广泛应用标准视频编码。 在基于块匹配的运动估计算法中,对每一帧图像都被分成大小相同的宏块,然后以宏块为基本处理单元。最后对预测差值、运动矢量和相应的参考索引进行编码。 1 帧间预测原理 1.1 运动估计 在序列图像中,邻近帧存在着一定的相关性。因此,可将活动图像分成若干块或宏块,在参考帧中定义的搜索区域,按照一定的匹配准则,搜索出每个块或宏块在参考帧图像中的匹配块,并得出两者之间的空间位置的相对偏移量,即运动矢量。当前块从参考帧中求取最佳匹配块得到运动矢量的过程被称为运动估计[2]。运动估计的原理如图1。 假设当前帧为P,参考帧为Pr,当前编码块为B,B*与B在图像中坐标位置相同。在Pr中,按照搜索准则,寻找与B块相减残差最小的匹配块Br。这个过程就是运动估计,Br左上角坐标(xr,yr)与B*左上角坐标(x,y)之差,

视频压缩编码标准H.264详解

视频压缩编码标准H.264详解 ——新疆大学2006级工硕郭新军 JVT(Joint Video Team,视频联合工作组)于2001年12月在泰国Pattaya 成立。它由ITU-T和ISO两个国际标准化组织的有关视频编码的专家联合组成。JVT的工作目标是制定一个新的视频编码标准,以实现视频的高压缩比、高图像质量、良好的网络适应性等目标。目前JVT的工作已被ITU-T接纳,新的视频压缩编码标准称为H.264标准,该标准也被ISO接纳,称为AVC(Advanced Video Coding)标准,是MPEG-4的第10部分。 H.264标准可分为三档: 基本档次(其简单版本,应用面广); 主要档次(采用了多项提高图像质量和增加压缩比的技术措施,可用于SDTV、HDTV和DVD等); 扩展档次(可用于各种网络的视频流传输)。 H.264不仅比H.263和MPEG-4节约了50%的码率,而且对网络传输具有更好的支持功能。它引入了面向IP包的编码机制,有利于网络中的分组传输,支持网络中视频的流媒体传输。H.264具有较强的抗误码特性,可适应丢包率高、干扰严重的无线信道中的视频传输。H.264支持不同网络资源下的分级编码传输,从而获得平稳的图像质量。H.264能适应于不同网络中的视频传输,网络亲和性好。 一、H.264视频压缩系统 H.264标准压缩系统由视频编码层(VCL)和网络提取层(Network Abstraction Layer,NAL)两部分组成。VCL中包括VCL编码器与VCL解码器,主要功能是视频数据压缩编码和解码,它包括运动补偿、变换编码、熵编码等压缩单元。NAL则用于为VCL提供一个与网络无关的统一接口,它负责对视频数据

一种快速AVS2帧内预测算法

一种快速AVS2帧内预测算法 摘要:针对目前AVS2帧内预测编码模式的选择和计算过程相对复杂的问题,提出了一种基于零系数块和底层角度判决的AVS2帧内预测算法。该算法先判断当前子块是否为零系数块,避免对零系数块进行变换等帧内编码的复杂操作。对于非零系数块,通过底层角度判决,从理论上排除了至少40%不可能的预测模式。实验表明,该算法对压缩效率的影响很小,将PSNR下降控制在0.2dB内,平均比特数增加少于2%,编码时间至少减少26%,有效地降低帧内编码的复杂度。 关键词:AVS2;帧内预测;零系数块;编码单元;底层角度判决 1 概述 AVS是我国第一个拥有自主知识产权的音视频编码标准[1]。在高清、超高清等应用需求的推动下,更高压缩效率的视频编码技术迅速发展。在此基础的背景上,2012年,工作组开始准备新一代音视频编码标准的制定工作,截至2014年6月,制定工作基本完成,即(Audio Video coding Standard Ⅱ,AVS2)。经过测试发现,AVS2的编码效率比第一代标准提高一倍以上,与最新国际标准HEVC(High Efficiency Video

Coding)相当[2]。 AVS2采用的关键技术主要有预测编码、变换编码和熵编码等。统计并比较AVS2各部分的编码时间可以发现,帧内预测部分消耗的时间(约35%)在各主要部分中占首位,新技术在提高压缩效率的同时,也显著增加了编码复杂度。 目前针对如何降低视频编码帧内预测的计算复杂度的研究有,雷海军,危雄,杨张等提出一种基于边缘方向强度检测的快速帧内预测模式决策算法[3],但该算法主要针对HEVC;陈云善,苏宛新,王春霞等提出一种基于(Sum of Absolute Transformed Difference,SATD)准则和空间相关性的快速帧内预测算法[4]来优化帧内预测模式的选择过程;PALOMINO D,CAVICHIOLI E,SUSIN A提出一种基于在编码树块的新检测顺序的快速帧内模式决策算法[5]。文章在结合零系数块的基础上,针对如何降低帧内预测模式,提出一种基于零系数块和底层角度判决的AVS2帧内预测算法。 2 AVS2帧内预测主要结构 AVS2采用四叉树编码结构,从图1中我们可以看到,将一幅图像划分为若干个最大编码单元(Largest Coding Unit,LCU),其最大尺寸为64×64。然后按照四叉树递归的方式可以将LCU划分为各种尺寸的编码单元CU,CU的尺寸可以表示成L×L的样式,L的取值有8,16,32或64。 不同的编码单元可以通过不同的方式划分成预测单元

【CN110022477A】一种基于CUTree的帧间预测模式快速选择方法【专利】

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910248674.6 (22)申请日 2019.03.29 (71)申请人 中南大学 地址 410083 湖南省长沙市岳麓区麓山南 路932号 (72)发明人 张昊 向广  (74)专利代理机构 广州嘉权专利商标事务所有 限公司 44205 代理人 伍传松 (51)Int.Cl. H04N 19/122(2014.01) H04N 19/159(2014.01) H04N 19/30(2014.01) H04N 19/96(2014.01) (54)发明名称 一种基于CUTree的帧间预测模式快速选择 方法 (57)摘要 本发明提供了一种基于CUTree的帧间预测 模式快速选择方法,属于视频编码解码技术领 域。该方法针对CUTree对SATD的加权处理后的 值,将其进行归一化后作为该CU在帧间预测做模 式选择时的条件,减少了不必要的编码时间,提 高了编码效率,所提供的方法简单易行,有利于 在其他编码标准中进行推广。权利要求书2页 说明书13页 附图1页CN 110022477 A 2019.07.16 C N 110022477 A

权 利 要 求 书1/2页CN 110022477 A 1.一种基于CUTree的帧间预测模式快速选择方法,其特征在于,步骤包括: (1)获取当前CU深度层d的标志位flag_satdcost值; (2)判断所述CU是否都处于图像的内部:若是,进行步骤(3);若不是,直接进入下一深度层d+1的划分;即由当前CU往下四叉树划分为4个子CU; (3)判断是否进行选择Merge模式或Skip模式:若是,计算帧间预测中的Merge模式和Skip模式的RDcost,选出两者中其RDcost较小的模式作为暂时最佳模式;若否,跳过当前深度对Merge模式和Skip模式的选择,直接进行步骤(4); (4)判断是否进行下一CU深度的划分:若是,将CU进行下一深度d+1的四叉树划分;若否,直接进行步骤(5); (5)判断是否进行其八种帧间模式的判断:若是,则进行八种帧间模式的模式选择;若否,直接进行下一深度的划分; (6)得到当前CU的最佳预测模式。 2.根据权利要求1所述的方法,其特征在于,步骤(1)中,若CU深度层为0层, 当为P帧时,SATD值<15000时,flag_satdcost赋值为0;1500020000时,flag_satdcost赋值为2; 当为I帧时,SATD值<15000时,flag_satdcost赋值为0;1500030000时,flag_satdcost赋值为2; 当为B帧时,SATD值<10000时,flag_satdcost赋值为0;1000020000时,flag_satdcost赋值为2。 3.根据权利要求1所述的方法,其特征在于,步骤(1)中,若CU深度层为1层, 当为P帧时,SATD值<4000时,flag_satdcost赋值为0;400010000时,flag_satdcost赋值为2; 当为I帧时,SATD值<4000时,flag_satdcost赋值为0;40008000时,flag_satdcost赋值为2; 当为B帧时,SATD值<2000时,flag_satdcost赋值为0;20005000时,flag_satdcost赋值为2。 4.根据权利要求1所述的方法,其特征在于,步骤(1)中,若CU深度层为2层, 当为P帧时,SATD值<1000时,flag_satdcost赋值为0;10003000时,flag_satdcost赋值为2; 当为I帧时,SATD值<1000时,flag_satdcost赋值为0;10003000时,flag_satdcost赋值为2; 当为B帧时,SATD值<1000时,flag_satdcost赋值为0;10003500时,flag_satdcost赋值为2。 5.根据权利要求1所述的方法,其特征在于,步骤(1)中,若CU深度层为3层,flag_ satdcost赋值为3。 6.根据权利要求1所述的方法,其特征在于,步骤(2)的判断条件为(numPartitions>=16||!bMVType)。 7.根据权利要求1所述的方法,其特征在于,步骤(2)所述进入下一深度层d+1的划分,指由当前CU往下四叉树划分为4个子CU。 2

音频、视频压缩有哪些技术标准

音频、视频压缩有哪些技术标准? 视频压缩技术有:MPEG-4、H263、H263+、H264等 MPEG-4视频编码技术介绍 MPEG是“Moving Picture Experts Group”的简称,在它之前的标准叫做JPEG,即“Joint Photographic Experts Group”。当人们用到常见的“.jpg”格式时,实际上正在使用JPEG的标准。JPEG规范了现代视频压缩的基础,而MPEG把JPEG 标准扩展到了运动图象。 MPEG-4视频编码标准支持MPEG-1、MPEG-2中的大多数功能,它包含了H.263的核心设计,并增加了优先特性和各种各样创造性的新特性。它提供不同的视频标准源格式、码率、帧频下矩形图像的有效编码,同时也支持基于内容的图像编码。采纳了基于对象(Object-Based)的编码、基于模型(Model-based)的编码等第二代编码技术是MPEG-4标准的主要特征。 MPEG4与MPEG1、MPEG2的比较 从上表可以看出,MPEG1和MPEG2主要应用于固定媒体,比如 VCD 和 DVD ,而对于网络传输,MPEG4具有无可比拟的优势。 H.263/H.263+/H.264视频编码技术介绍 1.H.263视频编码标准 1.H.263是最早用于低码率视频编码的ITU-T标准,随后出现的第二 版(H.263+)及H.263++增加了许多选项,使其具有更广泛的适用性。 H.263是ITU-T为低于64kb/s的窄带通信信道制定的视频编码标准。 它是在H.261基础上发展起来的,其标准输入图像格式可以是

S-QCIF、QCIF、CIF、4CIF或者16CIF的彩色4∶2∶0亚取样图像。 H.263与H.261相比采用了半象素的运动补偿,并增加了4种有效的 压缩编码模式。 2.H.263+视频压缩标准 1.ITU-T在H.263发布后又修订发布了H.263标准的版本2,非正式 地命名为H.263+标准。它在保证原H.263标准核心句法和语义不变 的基础上,增加了若干选项以提高压缩效率或改善某方面的功能。原 H.263标准限制了其应用的图像输入格式,仅允许5种视频源格式。 H.263+标准允许更大范围的图像输入格式,自定义图像的尺寸,从而 拓宽了标准使用的范围,使之可以处理基于视窗的计算机图像、更高 帧频的图像序列及宽屏图像。为提高压缩效率,H.263+采用先进的帧 内编码模式;增强的PB-帧模式改进了H.263的不足,增强了帧间预 测的效果;去块效应滤波器不仅提高了压缩效率,而且提供重建图像 的主观质量。为适应网络传输,H.263+增加了时间分级、信噪比和空 间分级,对在噪声信道和存在大量包丢失的网络中传送视频信号很有 意义;另外,片结构模式、参考帧选择模式增强了视频传输的抗误码 能力。 3.H.264视频压缩标准 1.H.264是由ISO/IEC与ITU-T组成的联合视频组(JVT)制定的新一 代视频压缩编码标准。对信道时延的适应性较强,既可工作于低时延 模式以满足实时业务,如会议电视等;又可工作于无时延限制的场合, 如视频存储等。 2.提高网络适应性,采用“网络友好”的结构和语法,加强对误码和 丢包的处理,提高解码器的差错恢复能力。 3.在编/解码器中采用复杂度可分级设计,在图像质量和编码处理之 间可分级,以适应不同复杂度的应用。 4.相对于先期的视频压缩标准,H.264引入了很多先进的技术,包括 4×4整数变换、空域内的帧内预测、1/4象素精度的运动估计、多参 考帧与多种大小块的帧间预测技术等。新技术带来了较高的压缩比, 同时大大提高了算法的复杂度。 G.7xx系列典型语音压缩标准介绍 G.7xx 是一组 ITU-T 标准,用于视频压缩和解压过程。它主要用于电话方面。在电话学中,有两个主要的算法,分别定义在 mu-law 算法(美国使用)和 a-law 算法(欧洲及世界其他国家使用),两者都是对数关系,但对于计算机的处理来说,后者的设计更为简单。 国际电信联盟G系列典型语音压缩标准的参数比较:

H.264视频编码标准分析和算法优化

H.264编码标准的分析和算法优化 一、研究背景: 随着社会的不断进步和多媒体信息技术的发展,人们对信息的需求越来越丰富,方便、快捷、灵活地通过语音、数据、图像与视频等方式进行多媒体通信已成不可或缺的工具。其中视觉信息给人们直观、生动的形象,因此图像与视频的传输更受到广泛的关注。然而,视频数据具有庞大的数据量,以普通的25帧每秒,CIF格式(分辨率为352×288)的视频图像为例,一秒钟的原始视频数据速率高达3.8M字节。不对视频信号进行压缩根本无法实时传输如此庞大的数据量,因此,视频压缩技术成为研究热点。 随着近几年来视频图像传输领域的不断扩展,以往的标准己经难于适应不同信道的传输特征及新兴的应用环境。为此,ISO/IEC&ITU-T共同开发了最新视频编码标准H.264/AVC。相对以前的视频编码标准,H.264集成了许多新的视频压缩技术,具有更高的压缩效率和图像质量。在同等的图像质量条件下,H.264的数据压缩比是应用于当前DVD系统MPEG-2的2~3倍,比MPEG-4高1.5~2倍,并且具有更好的网络友好性。但是H.264高压缩比的代价是编码器计算复杂度大幅度地提高。因此在保持编码效率几乎不变的同时尽可能提高编码速度是H.264/AVC视频编码标准能否得到广泛应用的关键。 在上述研究背景下,本文深入探讨了H.264/AVC标准,分析了编码器主要耗时模块的工作原理,提出三种降低H.264/AVC高计算复杂度的优化算法――快速帧内预测模式选择算法、快速帧间预测模式选择算法以及快速运动估计算法。实验结果表明:本文所提快速算法都可大幅度地降低H.264编码器的计算复杂度,并且保持基本不变的编码效率。 二、新一代视频编码标准H.264简介: 编码标准演进过程:H.261 MPEG-1 MPEG-2 H.263 MPEG-4 从视频编码标准的发展历程来看,视频编码标准都有一个不断追求的目标:在尽可能低的码率(或存储容量)下获得尽可能好的图像质量。MPEG-2、MPEG-4、H.263等标准都取得了巨大的成功,但在应用中也发现一些问题。H.263众多的选项往往令使用者无所适从;MPEG-2压缩效率己显略低;引人注目的MPEG-4的“基于对象的编码”由于尚有技术障碍,目前还难以普遍应用。在此背景下,两大国际标准化组织ITU-T和ISO共同制定了新一代视频编码标准H.264。该编码标准在混合编码的框架下引入新的编码方式,解决了目前编码标 准存在的问题,进一步贴近实际应用,其应用前景是不言而喻的。 三、H.264视频编码标准概述 JVT的工作目标是制定一个新的视频编码标准,以实现视频的高压缩比、高图像质量、良好的网络适应性等目标。JVT的工作已于2003年3月被ITU-T采纳,新的视频编码标准称为H.264标准。该标准也被ISO采纳,称为AVC(Advanced Video Coding)标准,是国际标准ISO14496-10(MPEG-4的第10部分),因此总称为H.264/AVC。 H.264着重于提高压缩效率和传输的可靠性,因而其应用面十分广泛。具体来说,H.264支持三个不同档次的应用: 1、基本档次:H.264简单版本,应用面广,主要用于视频会话,如会议电视、可视电话、远程医疗、远程教学等。 2、主要档次:采用了多项提高图像质量和增加压缩比的技术措施,主要用于消费电子应用,可用于SDTV、HDTV和DVD等。 3、扩展档次:主要用于各种网络的视频流传输,如视频点播等。

帧内预测

HEVC学习1—总框架与程序结构 要开始学术了。 我的研究方向是视频编解码,主要研究领域为HEVC,目前新手小白一枚。 这里通过博客的方式记录一下自己的学习过程,顺便也给与我一样的人一个参考。 一、HEVC简介 要对HEVC的总体架构有所了解(百度百科什么的其实一大堆),建议参考这两篇文章,具体可以谷歌学术,找到pdf下载 1.Overview of the High Efficiency Video Coding (HEVC) Standard 这篇文章便是传说中的HEVC overview官方文档啦 想看中文翻译是怎么样的,可以看看这篇文章《解读下一代视频压缩标准HEVC (H.265)》 2. High Performance, Low Complexity Video Coding and the Emerging HEVC Standard 这篇文章介绍了HEVC的发展历史,以及HEVC中采用的一些重要技术。 其他的文章还包括有,我现在也在慢慢地看。 列表如下: 3. A Hybrid Video Coder Based on Extended Macroblock Sizes, Improved Interpolation, and Flexible Motion Representation 4. Video Coding Using a Simplified Block Structure and Advanced Coding Techniques 5. Video Compression Using Nested Quadtree Structures, Leaf Merging, and Improved Techniques for Motion Representation and Entropy Coding 6. Improved Video Compression Efficiency Through Flexible Unit Representation and Corresponding Extension of Coding Tools 7. Comparison of the Coding Efficiency of Video Coding Standards—Including High Efficiency Video Coding (HEVC) 8. HEVC Complexity and Implementation Analysis 9. Block Partitioning Structure in the HEVC Standard 10. Quadtree Based Nonsquare Block Structure for Inter Frame Coding in High Efficiency Video Coding 11. Block Merging for Quadtree-Based Partitioning in HEVC 12. Decoder-Side Motion Vector Derivation for Block-Based Video Coding 13. HEVC Deblocking Filter 14. Sample Adaptive Offset in the HEVC Standard 15. Transform Coefficient Coding in HEVC 16. Comparative Rate-Distortion-Complexity Analysis of HEVC and AVC Video Codecs 17. High Throughput CABAC Entropy Coding in HEVC

相关主题