百万用户通话新风潮：仅需50秒，无界AI让彩铃变身短视频

2

项目挑战与技术选型

无界AI产品的一项功能是图片生成视频，让用户能基于一张图片生成对应内容的一小段视频。基于这个功能，我们跟浙江联通碰撞出AI定制视频彩铃项目，用户上传一张自己的照片，AI生成用户在特定场景中的动态视频，这个项目在春节期间开放给用户使用，场景上是与春节相关的喜庆画面，也可用作拜年视频。

上线期间，浙江联通向用户推送了这个活动，因活动形式比较新颖，吸引了大量用户。大量的用户制作请求给我们的项目带来了巨大挑战：在有限的资源下，我们要尽量减少用户的等待时间，因此生成效率十分重要。此外，项目方对效果的要求也比较高，用户人脸出现在场景后的人脸相似性，场景图片合成后生成视频的动态合理性，人脸的高保真等都是不小的挑战。

推理加速是我们团队一直在关注的领域，比如之前的AITemplate、OneFlow等，我们是从社区知道的OneDiff，在它支持SVD后，就第一时间对OneDiff社区版进行了各种使用场景下的详细评测，包括效果的一致性和显存的变化。OneDiff相比TensorRT等其他开源或闭源框架优势明显，简单来说：

一是加速比上更稳定。在普通的作画场景，不同尺寸下并叠加一些控制，使用OneDiff平均有40%以上的性能提升。在特定场景，比如图生视频，生成4s的1024x576和1024x1024画幅视频时，带来了约100%的推理加速和10%的显存节约。

二是适配性比较好。比如支持多尺寸和LoRA热插拔，以及兼容SVD等最新的算法。

三是方便上手。支持Diffusers/ComfyUI/WebUI应用框架。

在AI定制视频彩铃项目中，优化之前，单次图片生成视频需要90s，使用OneDiff优化后可以用50s生成，效率提升非常显著，用户上传照片即可自动生成精美视频彩铃。

龙年伊始，我们顺利同浙江联通达成合作。截止目前， AI定制视频彩铃活动已经触达上百万联通用户，日均视频创作量上千，该活动也促成无界AI成为浙江广电浙江联通战略合作伙伴，其中OneDiff功不可没。

3

结语

在图生视频、单张图片生成、AI写真等一些单点项目或功能上已经使用了OneDiff，我们也在测试OneDiff企业版，非常期待在性能方面能有更大的提升。

未来，我们非常期待OneDiff能够提供更多强大的功能，例如ControlNet（WebUI）等，也期待OneDiff能对训练阶段有所加速，比如LoRA的训练。此外，我们在LLM、图片生成、视频生成、3D模型生成方面都有应用，如果OneDiff在这些场景都有对应的模型或算法支持是最好的。

我们相信，OneDiff将会成为更加优秀的AIGC算法加速工具，为广大开发者带来更大的便利。感谢OneDiff团队的辛勤付出！

【OneDiff v0.12.1正式发布（生产环境稳定加速SD&SVD）】本次更新包含以下亮点，欢迎体验新版本：github.com/siliconflow/onediff

*  更新SDXL和SVD的SOTA性能

*  全面支持SD和SVD动态分辨率运行

*  编译/保存/加载HF Diffusers的pipeline

*  HF Diffusers的快速LoRA加载和切换

*  加速了InstantID（加速1.8倍）

*  加速了SDXL Lightning

（SDXL E2E Time）

（SVD E2E Time）

更多详情：https://medium.com/@SiliconFlowAI/

其他人都在看

800+页免费“大模型”电子书

揭示语言大模型的采样过程

混合输入矩阵乘法的性能优化

强化学习之父：通往AGI的另一种可能

好久不见！OneFlow 1.0全新版本上线

LLM推理入门指南②：深入解析KV缓存

OneDiff加速“图生生”，电商AI图像处理新范式

本文链接：https://www.kjpai.cn/news/2024-05-01/164077.html，文章来源：网络cs，作者：亙句，版权归作者所有，如需转载请注明来源和作者，否则将追究法律责任！