难度向导
《入门基础》
阶段:音视频基础与音视频分析,入门必需掌握之基础
入门的五章也是概念与基础理论最多的章节了。这几章的工程实践较少,但非常重要的原理、规格、定义极多。是后续更为复杂的工程实践中,被音视频工程师们作为根基般的存在。因此非常重要。
- 第一章 数字音频的保存与还原
本章从声学和心理声学角度对音频的相关工程量, 以及数模转换和分析对比的关键概念进行了阐述。 结合发展与规格演进,提供整体音频工程概念的梳理。
- 第二章 图像色彩的运用与存储
从色彩学发展史到工业体系对色彩的规格定义,章节大都以工程概念的递进关系进行介绍, 并在小章节中按照相关规格原理的发现提出时间顺序进行了由浅入深的推导说明。从而保证前后逻辑和发展上的连贯性。
- 第三章 音视频常用基础算法
属于纯数理基础,对音视频开发过程中常用的 图像/音频 的 分析/处理 算法,进行了梳理和讲解。 本章列出的部分,是作者在筛选掉大量非必需算法后的最小知识集合。
- 第四章 音视频机器学习基础
本章介绍了机器学习特别是深度学习在音视频处理中的基础知识背景。 通过对机器学习发展简史、部分关键算法和经典模型的阐述,帮助读者理解机器学习技术的一些基本运用。
- 第五章 音视频帧分析与简单处理
本章将音视频帧的基本概念、分析方法和简单处理技术进行了整理说明。 通过对音视频帧的深入理解和操作,读者可以掌握音视频处理的核心技术,为后续的复杂应用打下坚实的基础。
入门五章完成后,读者将有一定的音视频图像工程分析能力。并能够使用当前掌握的知识来处理音视频基本问题。
《编解传输》
阶段:流媒体规格与简易编解码播放框架设计,流的编解码与网络传输,音视频工程实践
中级的四章将沿着 "内容压缩 → 内容传输 → 工程实现 → 链路全局" 的因果链展开,是入门五章所学原理的第一次全面会师。
- 第六章 音视频编码规格
本章以编年史方式拆解编码规格:视频沿 H.261 → MPEG-1/2 → H.264 → H.265 → H.266/AV1 的主线, 音频沿 MP3 → AAC → Opus 的主线。通过 "编码四环" 统一框架,读者将看清每一代规格的技术分工, 并亲手完成编码器的规格对比实验(practice_7)。
- 第七章 封装格式与流传输协议
本章把码流送上路:MP4/FLV/MPEG-TS 三大容器的设计取向对比, 以及 RTP/RTCP → RTMP → HLS/fMP4 → DASH/WebRTC/SRT 的五代传输协议编年史。 配合推流抓包与低延迟拉流实战(practice_8),逐字节还原协议的真实工作过程。
- 第八章 解码与播放
本章把前五~七章的零件装成整机:解码器框架设计(FFmpeg 六库、收发分离状态机、 管线与 seek 暗坑),播放器核心系统(主时钟音画同步、抖动缓冲、渲染管线), 并用音画同步策略对比实验(practice_9)让理论在数据里显影。
- 第九章 流媒体链路与流分析
本章把视角拉成全景:一场直播从采集、推流、源站、转码、CDN 到播放的七站接力, glass-to-glass 端到端延迟的四级世界,QoE 指标体系与播放端/服务端双侧监控方法, 并以链路搭建与质量分析实战(practice_10)为第二大阶段收束。
中级四章完成后,读者将能够胜任大部分业界的音视频项目工作需求,和一定程度的音视频架构师要求。
《渲染进阶》
阶段:通用统一化音视频编辑框架与渲染驱动设计,图像处理技术与特效引擎
第七章 图形驱动统一化的理论基础,是为后续章节开始进行的计算机图形处理,进行相关的理论基础铺垫与解析。中级/高级架构师,在工作内容上已不可避免会涉及到音视频2D、3D特效的处理与实践,并会较多的参与到 AI 技术工程化的框架设计工作中。因此,对于计算机图形学的了解是必要且必须的。
第八章 图形驱动与渲染引擎技术,则是一个较为复杂的复合章节。本章结合作者开源工程实践(UltraDriver),在前面几章铺垫的基础上,深入驱动底层逻辑,剖析了常见渲染引擎的核心元素,并完整的讲解了从GPU通信管线建立到实际场景渲染的完整过程。完成本章,将会使读者对整个渲染驱动有详尽的理解,并能够独立运用GPU驱动特性完成复杂的 3D 渲染工作。
第九章 音视频播放与特效编辑,结合作者开源工程实践(UltraTimeline),讲解了音视频编辑中的最为关键的技术系统:UTT 统一时间轴系统,通过此系统,读者将能够独立完成一系列复杂音视频的编辑过程。从而在音视频特效处理方面正式的进入工程大门。
高级三章完成后,后续的继续学习提升将脱离工程范畴。因此,更进一步的探索,就要求深入了解算法和硬件驱动,从而衔接到 AI-CV 等方面的相关研究工作,或游戏引擎物理引擎的开发架设。此两个方向的经典文献与著作较多,且已有成熟体系,因此本书既到此为止。