今天分享的是：2024新型视频语义编码技术白皮书

报告共计：32页

《2024 新型视频语义编码技术白皮书》总结

本白皮书由中国移动通信研究院等单位编制，聚焦视频语义编码技术，剖析其在多技术驱动与新视频需求下的发展态势、关键技术、标准化进展及未来趋向，为产业革新筑牢根基。

一、发展驱动与挑战并存

5G、人工智能蓬勃发展，短视频、VR 视频等多元应用场景纷至沓来，视频信息量呈爆炸式增长。传统编码技术虽迭代频繁，但面对超高清、VR 等视频特性及复杂应用需求，压缩率提升滞后、编码效率遇瓶颈、难以兼顾人眼与机器视觉需求等弊端凸显，新型高效智能编码技术亟待破局。

二、技术架构多元演进

（一）传统与神经融合创新

传统混合编码框架长期占主导，新编码标准虽有性能跃升但复杂度剧增。神经网络编码乘势而入，混合式与端到端编码策略各擅胜场，前者借模块替换优化传统框架，后者突破瓶颈但面临解码复杂、码流互通难题。视频语义编码则兼收并蓄，萃取语义信息优化两种编码路径效率。

展开剩余79%

（二）语义通信启迪探索

语义通信志在精准交互语义、削减数据冗余，其架构嵌入语义知识库等新模块，编码法分直接与变换编码两类，通信模式含面向语义与目标两种。然而其尚处前沿探索期，顶层架构未统一，视频编码适配性弱、计算资源消耗大，视频语义编码与之相较，聚焦视频且具落地性与兼容性。

（三）编码技术亮点纷纭

视觉感知编码依 HVS 特性除冗余，JND 编码精准量化人眼失真界限优化编码，JRD 为机器视觉编码另辟蹊径；ROI 编码聚焦视觉焦点区域或关键对象分配码率。生成式编码借生成对抗网络于低码率下重塑图像视频高频纹理、提升重建质量，分层编码挖掘多层次语义强化表征。跨模态编码借文本桥梁转换图像视频信息降冗余、保语义。机器视觉编码依任务筛选语义精准编码，特征压缩路径高效轻盈赋能机器视觉任务。编码数据传输环节，媒体封装适配多场景格式并依语义扩展，流媒体传输仰仗多协议协同，AI 加持下依语义优化传输指日可待。

三、标准化进程持续迈进

全球标准组织竞相发力，AI 视频编码借深度学习革新编码效率，VR 视频编码标准多点开花支撑沉浸式体验，多视点视频编码标准拓展 3D 视频编码疆域，机器视觉编码标准多维度满足机器视觉需求，视频语义编码技术有机融入多类标准完善体系，中国移动积极投身其中推动产业标准化发展。

四、未来愿景璀璨明晰

技术迭代浪潮中，视频语义编码将深度融入 6DoF 视频等前沿领域，预训练多模态大模型助力效率飞升、压缩海量 AIGC 内容。高效表征与压缩融合、异构与云 - 边端架构将成主流，携手优化视频传输体验、驱动业务创新与标准化应用普及，引领视频产业迈向智能高效新纪元。

以下为报告节选内容

报告共计： 32页

中小未来圈，你需要的资料，我这里都有！

发布于：广东省