难度向导
《入门基础》
阶段:音视频基础与音视分析,入门必需掌握之基础
入门的五章也是概念与基础理论最多的章节了。这几张的工程实践较少,但非常重要的原理、规格、定义及多。是后续更为复杂的工程实践中,被音视频工程师们做为根基般的存在。因此非常重要。
- 第一章 数字音频的保存与还原
本章从声学和心理声学角度对音频的相关工程量, 以及数模转换和分析对比的关键概念进行了阐述。 结合发展与规格演进,提供整体音频工程概念的梳理。
- 第二章 图像色彩的运用与存储
从色彩学发展史到工业体系对色彩的规格定义,章节大章以工程概念的递进关系进行介绍, 并在小章节中按照相关规格原理的发现提出时间顺序进行了由浅入深的推导说明。从而保证前后逻辑和发展上的连贯性。
- 第三章 音视频常用基础算法
属于纯数理基础,对音视频开发过程中常用的 图像/音频 的 分析/处理 算法,进行了梳理和讲解。 本章列出的部分,是作者在筛选掉大量非必需算法后的最小知识集合。
- 第四章 音视频机器学习基础
本章介绍了机器学习特别是深度学习在音视频处理中的基础知识背景。 通过对机器学习发展简史、部分关键算法和经典模型的阐述,帮助读者理解机器学习技术的一些基本运用。
- 第五章 音视频帧分析与简单处理
本章将音视频帧的基本概念、分析方法和简单处理技术进行了整理说明。 通过对音视频帧的深入理解和操作,读者可以掌握音视频处理的核心技术,为后续的复杂应用打下坚实的基础。
入门五章完成后,读者将有一定的音视频图像工程分析能力。并能够使用当前掌握的知识来处理音视频基本问题。
《编解传输》
阶段:流媒体规格与简易编解码播放框架设计,流的编解码与网络传输,音视频工程实践
第五章 音视频解码与流传输,是一个综合性较强的章节。这一章将对当前编解码规格进行详细的拆分与解析。通过对 H.264、H.265、H.266 的规格分析,详细的阐述当今音视频工程中,如何对视频保质保量的进行数据压缩和处理。并通过对 主流三协议:RTMP、RTP/RTCP、HLS 的分析,从协议的封装、信号设计、传输过程、规格规定上全面说明了音视频传输过程的各个方面细节。完成本章,将会使读者较为深度的理解编解码与传输,并使其能够有一定程度的规格定制与改进能力。
第六章 音视频的编解播与流分析,结合了第五章与入门四章的知识要领做工程实践。本章节将注重工程能力建设,从软件工程设计角度剖析音视频的编解播三大经典工程方案,并引导读者建立架构师思维与匹配的动手能力。
中级四章完成后,读者将能够胜任大部分业界的音视频项目工作需求,和一定程度的音视频架构师要求。
《渲染进阶》
阶段:通用统一化音视频编辑框架与渲染驱动设计,图像处理技术与特效引擎
第七章 图形驱动统一化的理论基础,是为后续章节开始进行的计算机图形处理,进行相关的理论基础铺垫与解析。中级/高级架构师,在工作内容上已不可避免会涉及到音视频2D、3D特效的处理与实践,并会较多的参与到 AI 技术工程化的框架设计工作中。因此,对于计算机图形学的了解是必要且必须的。
第八章 图形驱动与渲染引擎技术,则是一个较为复杂的复合章节。本章结合作者开源工程实践(UltraDriver),在前面几章铺垫的基础上,深入驱动底层逻辑,剖析了常见渲染引擎的核心元素,并完整的讲解了从GPU通信管线建立到实际场景渲染的完整过程。完成本章,将会使读者对整个渲染驱动有详尽的理解,并能够独立运用GPU驱动特性完成复杂的 3D 渲染工作。
第九章 音视频播放与特效编辑,结合作者开源工程实践(UltraTimeline),讲解了音视频编辑中的最为关键的技术系统:UTT 统一时间轴系统,通过此系统,读者将能够独立完成一系列复杂音视频的编辑过程。从而在音视频特效处理方面正式的进入工程大门。
高级三章完成后,后续的继续学习提升将脱离工程范畴。因此,更进一步的探索,就要求深入了解算法和硬件驱动,从而衔接到 AI-CV 等方面的相关研究工作,或游戏引擎物理引擎的开发架设。此两个方向的经典文献与著作较多,且已有成熟体系,因此本书既到此为止。