4. AI Codec研究进展与展望（王晶）.pdf

1、AI Codec研究进展与展望王晶华为 媒体编解码技术实验室主任作经历：2018-今 华为媒体编解码技术实验室2013-2018 国家计算机络安全管理中教育经历：2008-2013 清华学 电程系 博2004-2008 南京学 电信息科学与技术 学研究领域：视频编解码、图像编解码、图像处理个人简介王晶1JPEG AI标准介绍JPEG AI 标准简介PartTitleWDCDDISFDISIS1JPEG AI:Core Coding System23/0123/0723/10-24/042JPEG AI:Profiling23/1024/0124/04-24/103JPEG AI:Referen

2、ce Software24/0124/04-24/104JPEG AI:Conformance24/0424/07-25/01wg1n90049,White Paper on JPEG AI Scope and Framework v1.0,2021.wg1n100603-100-CPM-Request for subdivision of ISO-IEC 6048(JPEG AI).VERSION 1(v1)Version 1 聚焦于效的图像编解码.压缩效率 跨平台致性 低复杂编解码VERSION 2(v2):Version 2 处于需求征集阶段 向机器视觉任务编码 向图像处理任务编码 渐进

3、式编码 JPEG AI 编解码框架解码器编码器 YUV域编解码去除分量间相关性，降低络整体算 编码特征残差图解耦概率分布参数与特征图预测值估计 向不同应场景，设定两个operation point两个OP区别点 High OP 中编解码络增加注意机制 High OP 中预测络利上下信息解码算 Base OP：20 kMAC/pixel High OP：200 kMAC/pixelJPEG AI 性能评价指标：7个指标的综合收益 msssim,vif,fsim,nlpd,iw-ssim,vmaf,psnrHVS当前压缩效果与解码端计算量Reference:VVC4 points BD-rate(

4、0.06,0.12,0.25,0.5)10%BD rate vs VVCMonotonicityMaxBitDiffDplexityTestAVGmsssim Torchviffsimnlpdiw-ssimvmafpsnrHVSMAX kMAC/pxlAVG kMAC/pxlTime GPU,xTime CPU,xModelModelSv4.1-tools-off-GPU-26.3%-39.4%-18.9%-29.1%-25.0%-36.8%-23.8%-10.8%TRUE366%2122070.35#9.97E+06 3.99E+07v4.1-tools-off-GPU-11.4%-29.0

5、%-3.5%-15.3%-10.3%-25.5%-1.5%5.6%TRUE315%22220.082.93E+06 1.17E+07HOPBOP实测性能1024x1024图像，BOP的络结构在Huawei Mate 50 Pro(Qualcomm Snapdragon 8+Gen 1 4G SoC)上实测耗时ModuleCPU（fp16）DSP（A8W8）Arithmetic coding8ms(*)-Hyper Decoder(Y)10ms(*)2ms(*)HSD2ms(*)2ms(*)Synthesis(Y)82ms(*)4ms(*)*wg1m100132-CPM-JPEG AI INF

6、Smartphone demo of JPEG AI codec,Timofey Solovyev,Alexander Karabutov,Dequan Yu,Tiansheng Guo*wg1m100031-CPM-JPEG AI CE Report on CE4.8-Lightweight Model Simplification(Hyper Part),Dequan Yu,Yin Zhao,Elena Alshina*wg1m100032-CPM-JPEG AI CE Report on CE4.8-Lightweight Model Simplification(Synthesis T