AI实时生成技术正在爆发,巨变来临!
作者：今说新语紧跟最新AI技术，全面解读AIGC的秘密！加入《AI绘画与AIGC实践之路》专栏，快速入门！
AI绘画领域其实已经沉寂很久了，但近期AI实时生成技术的演变正在迅速爆发，从技术论文发布到用户创新性的应用，再到创业者把产品落地也就短短几天的时间。整个感觉就如同去年Disco Diffusion和ChatGPT刚发布时一样。先看一个简单的演示：
LCM-LoRA 技术是一种可以加速稳定扩散模型（Stable Diffusion Models）的图像生成技术，它可以实现实时的高分辨率图像生成，而无需额外的训练。
首先，传统的稳定扩散模型是一种基于扩散过程的图像生成模型，它可以从一个随机噪声开始，逐步恢复出目标图像，从而实现从低质量到高质量的图像生成。这种模型的优点是可以生成多样性高、细节丰富的图像，而且可以很容易地进行微调和控制。但是，这种模型的缺点是生成速度很慢，因为它需要进行多次的迭代和反向传播，每一步都需要调用神经网络。
为了解决这个问题，LCM-LoRA 技术提出了一种低秩适应（Low-rank Adaptation）的方法，它可以在不改变模型结构和参数的情况下，通过引入一个低秩矩阵来加速稳定扩散模型的生成过程。具体来说，它的做法是：
首先，使用一个称为 LCM（Latent Consistency Models）的模型来对稳定扩散模型进行蒸馏，从而得到一个低秩矩阵，这个矩阵可以表示稳定扩散模型的权重更新。
然后，将这个低秩矩阵作为一个通用的加速模块，命名为 LCM-LoRA，插入到稳定扩散模型的每一层中，从而实现对稳定扩散模型的加速。
最后，使用 LCM-LoRA 加速后的稳定扩散模型来进行图像生成，可以大大减少生成所需的迭代次数和网络调用次数，从而实现实时的高分辨率图像生成。
LCM-LoRA 技术的优势有：
它可以作为一个通用的加速器，适用于各种稳定扩散模型，无论是预训练的还是微调的，而且无需额外的训练。
它可以保持稳定扩散模型的生成质量和多样性，甚至可以提高一些指标，如感知质量和信噪比。
它可以实现实时的高分辨率图像生成，例如，它可以在 0.2 秒内生成 256x256 的图像，或者在 1.5 秒内生成 768x768 的图像，这比原始的稳定扩散模型快了几十倍。
近期，国外多个开发者都基于此技术推出了演示版本：
Demo1：
https://huggingface.co/spaces/radames/Real-Time-Latent-Consistency-Model
这个演示是捕捉用户摄像头画面，根据提示语内容实时生成渲染后的图像，前段时间我在视频号曾经发过一个演示视频。
Demo2：
https://www.fal.ai/dynamic
这个版本进化到可以通过用户的实时绘制图像，根据提示语实时生成画面。
Demo3：
http://Krea.ai
这是这两天最火的产品应用，也是最成熟的一个应用，Krea.ai网站把这一技术快速的转化为一个易用性非常强的产品，可以和所有桌面设计软件结合，实时生成图像。关于Krea.ai在前面的文章《AI错觉之旅：形状解锁无限想象力！Stable Diffusion再次碾压Midjourney！》中介绍过，这是一个小型创业团队，一直在AI生成方面进行探索，我公众号曾经多次介绍过他们不同阶段的各个产品。
这次他们最新推出的实时生成项目，最突出的优点是可以和你的所有设计软件进行结合，实时将你的平面设计软件、3D设计软件、VR设计软件、室内、建筑设计软件中的画面同步到AI的掌控之下，实时生成新的效果图。
前期他们邀请了一批创作者内部测试他们的这一产品，我有机会测试了一些不同的应用，会陆续发在视频号中，目前产品还在内测中，应该很快就会发布，主要取决于他们这个小型团队能否撑得住大量用户的涌入。
更重要的是，这一技术正在快速融合进目前的各个AI生成产品中，包括我们常用的Stable Diffusion，也已经有很多客户端融入了这一技术，这将极大的提升图像生成的速度，更进一步提升视频生成、3D生成等所有使用扩散技术的应用。例如下面这个基于Aanimatediff的产品演示，已经可以快速生成视频：
https://www.fal.ai/models/animatediff-lcm/playground
网上已经有大量使用这一技术在各个设计领域的创新应用，年初曾经有人畅想过，未来的游戏场景如果是实时生成的，每个玩家进入游戏都可以自己通过语言改变游戏中的场景，那样的沉浸感将是梦幻的，谁都没想到这么快就可以实现。未来的游戏设计也将发生巨变，每个人感受到的场景也都将是不同的，VR应用也具备了更强的可实现性和更好的沉浸感体验。
想更快掌握最新AI技术的应用，欢迎加入我的公众号专栏《AIGC从入门到精通专栏》，专栏截止本月已更新25篇，这些实用性的内容具有超越时间的价值，现在订购可以直接阅读全部专栏的内容，让你的AI学习之路跨上一个新的台阶。
公众号精选内容
基础入门 | 建筑室内 | 模型训练 | ChatGPT
StableDiffusion|Midjourney|进阶专栏
2023.10 ｜ 2023.9｜2023.8｜2023.7｜2023.6
2023.5 ｜ 2023.4 ｜ 2023.3 ｜ 2023.2 | 2022
☞三连击支持 点赞 + 在看 + 分享
页:
[1]