\1. 视频压缩为缩视频？

未压缩的数字视频数据存储困难DVD未压缩的数字视频只能存储几秒钟。传输一秒钟的带宽数字电视视频大约需要4分钟。

\2. 压缩的原因

消除冗余信息空间冗余：图像相邻像素之间存在较强的相关时间冗余：视频序列相邻图像内容相似编码冗余：不同像素值的概率不同的视觉冗余：人类视觉系统对某些细节不敏感期结构可以通过先验知识和背景知识获得

\3. 数据压缩分类

无损压缩（Lossless）图像在压缩前完全一致X=X'；压缩比低(2:1~3:1)Winzip，JPEG-LS有损压缩（Lossy）压缩前的图像不一致X≠X'；高压缩比(10:1~20:1)利用人类视觉系统的特点，如:MPEG-2，H.264/AVC，AVS

\4. 编解码器

编码器（Encoder）压缩信号的设备或程序解码器（Decoder）解压缩信号的设备或程序编程解码器(Codec)编解码器对

\5. 压缩系统的组成

(1) 编码器中的关键技术

(2) 编解码中的关键技术

\6. 实现编解码器

编解码器实现平台：超大型集成电路VLSIASIC， FPGA数字信号处理器DSP软件编解码器产品：机顶盒数字电视摄像机监控器

\7. 视频编码标准

编码标准功能：

兼容性：不同厂家生产的编码器压缩码流可由不同厂家的解码器高效解码：标准编码器可批量生产，节约成本。

主流视频编码标准：

MPEG-2MPEG-4 Simple ProfileH.264/AVCAVSVC-1

标准化组织：

ITU：International Telecommunications UnionVECG：Video Coding Experts GroupISO：International Standards OrganizationMPEG：Motion Picture Experts Group

\8. 视频传输

视频传输：通过传输系统将压缩传输系统从编码端传输到解码端传输系统：互联网、地面无线广播、卫星

\9. 视频传输面临的问题

传输系统不可靠带宽限制信号衰减噪声干扰传输延迟视频传输问题不能解码正确的视频播放延迟

\10. 控制视频传输差错

差错控制（Error Control）解决视频传输过程中数据丢失或延迟造成的问题。错误控制技术：信道编码错误控制技术

\11. 视频传输的QoS参数

数据包的端到端延迟带宽:比特/秒数据包的流失率数据包的延迟时间波动

FFmpegWebRTCRTMPRTSPHLSRTP鎾斁鍣�-阔宠「€-

第2章 数字视频

1.图像和视频

图像：是人类视觉感知的物质再现。三维自然场景的对象包括：深度、纹理和亮度信息二维图像：纹理和亮度信息

视频:连续图像。视频由多个图像组成，包含物体的运动信息，也称为运动图像。

\2. 数字视频

数字视频：自然场景空间和时间的数字采样表示。空间采样分析（Resolution）时间采样帧率:帧/秒

\3. 空间采样

二维数字视频图像空间采样

\4. 数字视频系统

收集摄像头，处理摄像头解码器，显示传输设备

\5. 人类视觉系统HVS

HVS眼神经脑

HVS特点:对高频信息不敏感，对高对比度更敏感，对亮度信息比色度信息更敏感，对运动信息更敏感

\6. 应考虑数字视频系统的设计HVS的特点：

丢弃高频信息，只编码低频信息，提高边缘信息的主观质量，降低色度（Region of Interesting，ROI）特殊处理

\7. RGB色彩空间

三原色：红（R），绿（G），蓝（B）。三原色可以按一定比例混合产生任何颜色。RGB色度空间由RGB广泛应用于三原色组成BMP，TIFF，PPM每个色度成分通常使用8bit表示[0,255]

\8. YUV色彩空间

YUV色彩空间：Y：亮度分量UV：两种色度分量YUV更好的反映HVS特点

\9. RGB转化到YUV空间

亮度重量Y与三原色有以下关系：

经过大量的实验ITU-R给出了，

，

，

主流编解码标准的压缩对象是YUV图像

\10. YUV图像分量采样

YUV可以根据图像HVS在色度分量下采样，可降低视频数据量。根据亮度和色度分量的采样比例，YUV图像通常有以下格式：

\11. 通用 的YUV图像格式

根据YUV图像格式的亮度分辨率定义

\12. 帧和场图像

一帧图像包括两场-顶场，底场

\13. 逐行和隔行图像

逐行图像：一帧图像的两获得，ttop=tbot。隔行图像：两个一帧图像在不同时间获得， ttop≠tbot。

\14. 视频质量评价

破坏性视频压缩使编解码图像不同，需要一种评估解码图像质量的手段。质量评价：基于视觉的客观质量评价：通过数学方法测量图像质量评价。优点：可量化测量结果可重复测量简单缺点：不完全符合人的主观感知

\15. 客观评价方法

常用的客观评价方法：

\16. 主观评价方法

主观质量评价：直接测量用人的主观感知。优点：符合人的主观感知缺点：不易量化，受不确定因素影响，测量结果一般不能重复

主观评价方法常用

\17. 客观评价视频质量的客观评价方法

基于视觉的视频质量客观评价：用数学方法描述人的视觉特征，并用于视频质量评价。结合主观质量评价和客观质量评价的优势。常用方法：结构相似性（Structural SIMilarity，SSIM）方法。将HVS这些特征用数学模型征。未来重要的研究方向

第3章 信息论基础

\1. 通信系统的组成

信源：产生信息信道：传输信息信宿：接收信息

\2. 基本概念

信息在通信中的表达分为三个层次：信号、信息和信息。信号：是信息的物理表达，可测量、描述和显示。如电信号、光信号。信息：它是信息的载体，以文本、语言、图像等人类可以认知的形式表示。信息：不确定的内容。

\3. 信息熵

信息的特点

信息的测量

自信息量

条件信息量

\4. 信息熵

\5. 条件熵和联合熵

\6. 熵的性质

非负：信源熵是非负值，即 H(X) >=0.可扩展性:信源熵XM一个符号，如果其中一个符号的概率为零，信源熵等于剩余M-1个符号的信源熵；极值（最大信息熵）：对于具有M符号的信源，只有当所有符号的概率达到最大值时，才能增加：熵不增加：条件熵不大于信息熵 H(X|Y) <= H(X)；联合熵不大于信息熵的和，即H(XY) <= H(X) H(Y)。

\7. 互信息量

\8. 互信息

物理意义：H(X)是X所含的信息，H(X|Y)X也可以在已知Y的条件下带来信息量。所以两者之间的区别是知道Y减少了X的信息量，也就是Y可以得到的X的信息量。

\9. 各种熵的关系

\11. 信源编码

信源代码：将信息符号转换为信道可传输的信息。两个基本问题：用尽可能少的信道传输符号传输信息，提高传输效率；减少信道传输符号减少造成的扭曲。

\12. 离散信源统计特征

\13. 离散信源类型：简单无记忆信源和马尔可夫信源

\14. 编码分类

等长码：集合一组码字C所有码字cm (m = 1,2, …,M)，它的长度相同，称为这组码C等长码。变长码：如果码字集合C所有码字cm (m = 1,2, …,M)，其码长不一样，称码C为变长码。

\15. 平均码长

\16. 与变长码相比，等长码

等长编码将信源输出符号序列的任何值（概率可能不同）编码成相同长度的输出代码，不使用信源的统计特性；根据信源输出符号序列的概率大小，变长代码可以编码成不同长度的输出代码，利用信源的统计特性。所以它也被称为熵代码。

\17. Huffman编码

Huffman编码:典型的变长编码。步骤:按概率从大到小排列信源符号，假设p(x1)≥ p(x2)… ≥ p(xn)给两个概率最小的信源符号p(xn-1)， p(xn)分配一个码位"0"和"1"；将这两个信源符号合并为新符号，并将这两个最小概率之和作为新符号的概率得到一个(n-1)具有信源符号的新信源。第一次缩减信源，称为信源S1表示。将减少信源。S1的符号仍按概率从大到小的顺序排列，重复步骤2，只包含(n-2)减少个符号的信源S2。重复上述步骤，直到只有两个符号减少信源，此时剩余两个符号的概率之和必须为1。然后从最后一级减少信源开始，按照编码路径向前返回，获得每个信源符号对应的代码。

\18. 信道编码

信道编码主要考虑如何提高信号的抗干扰能力，提高传输的可靠性，提高传输效率。一般采用冗余编码法，赋予信码一定的纠错和检错能力，使信道传输的错误概率降低到允许范围。

\19. 信道类型

根据信道是否连续分类离散信道连续信道半连续信道根据信道是否有干扰分类无干扰信道根据信道的统计特征分类无记忆信道有记忆信道恒参信道对称信道不对称信道

\20. 信道容量

在信息理论中，信道无误传输的最大信息速率为信道容量。仙农信道容量公式：假设连续信道的加性高斯白噪声功率为N，信道带宽为B，信号功率为S，信道的容量是由于噪声功率N与信道带宽B有关，噪声功率N=n0B 。因此，仙农公式也可以表示为

\21. 香农信道容量公式的意义

在给定B和S/N在这种情况下，信道的极限传输能力是C，此时可实现无误传输。假如信道的实际传输速率大于C 理论上，没有错误的传输是不可能的。因此，实际传输速率一般不大于信道容量C ，除非允许有一定的错误率。提高信噪比S/N（通过减小n0或增大S），可提高信道容量C。特别是，若n0->0，则C->∞ ，这意味着无干扰信道容量是无限的；增加信道带宽B，信道容量也可以增加C，但不能无限期地增加。这是因为，如果 S、n0通过调整相同大小的信道相同大小的信道容量B及S/N即通过系统带宽与信噪比的交换，可以保持信道容量不变。

\22. 失真

扭曲：在实际的信源和信道编码中，信源的信息不能完全恢复，信息的传输并不总是扭曲的。由于存储和传输资源的噪声限制等因素的干扰

\23. 率失真理论

仙农定义了信息率失真函数R(D)D是消息失真R是码率失真定理：当允许一定的失真度D时，信源输出的信息率可以压缩到R(D)。

\24. 失真函数

失真函数：信源符号X={x1, x2, …..xn}，通过信道传输接收端符号Y={y1, y2….yn}，对于每一对(xi, yj)指定非负函数 d(xi, yj)，称d(xi, yj)是单个符号的失真度或失真函数。常用于连续信源的连续信道d(x, y)表示。常用的失真函数：

平均失真：