字节跳动开源最新GAN压缩算法 算力消耗可减少至1/46

8月27日消息，据网易科技报道，近期，字节跳动近期开源了一项代号为OMGD的压缩技术。

据悉，这是字节自研的GAN（生成对抗网络）压缩算法，在保证生成效果不变的前提下，算力消耗最低可以减少到原来的1/46，相比之前业界的最佳压缩效果提升一倍多。目前，这项技术的论文已入选国际计算机视觉会议ICCV 2021。

据了解，GAN是人工智能领域重要的深度学习模型，在图像生成、音乐生成和视频生成等方面应用广泛，还可以提高图像质量，实现图像风格化、图像着色等任务。例如漫画特效等人们常用的短视频道具，就是通过GAN实现的。

不过，由于GAN对计算资源和存储空间的需求巨大，模型难以直接部署到手机、Pad等移动设备上。2020年，麻省理工学院、Adobe和上海交通大学的研究者们提出一种GAN压缩算法，将算力消耗成功减少到1/21。此次字节跳动提出的OMGD方法则进一步提升了压缩能力。

OMGD（Online Multi-Granularity Distillation）意为“在线多粒度蒸馏”。据字节跳动技术团队的论文显示，该算法能灵活地在训练过程中优化并压缩GAN模型，从而实现更好的图像效果和更少的计算成本。

测试数据表明，OMGD压缩算法对Pix2Pix和CycleGAN这两种常用的GAN解决方案效果显著。这两种解决方案主要应用于图像到图像的“翻译”。OMGD压缩算法可使其算力消耗分别减少到原来的1/40和1/46。

目前，OMGD压缩算法已在抖音等产品中落地，为用户提供更丰富的视频创作能力。相关技术代码也已发布在开源社区，以帮助从业者提升GAN的创新和应用效率。资料显示，字节跳动与8月17日正式加入OIN（开源发明网络），并成为被授权者和社区成员。

迄今，字节跳动已开源了机器学习平台Klever、联邦学习平台Fedlearner、高性能分布式训练框架BytePS 、LightSeq推理和训练引擎等项目。