Runway推出新型AI“界面世界模型”Solaris,能实时生成交互界面,取代传统设计转代码流程。它根据用户操作逐帧渲染,使界面本身成为应用。测试显示其优于传统编码界面,未来旨在实现个性化、动态生成的界面,并已开放早期访问。
Infinite Slop是开发者Pieter Levels创建的无限AI直播网站,观众通过聊天框输入提示词,AI实时生成连贯视频并播放。基于fal的H3 Max模型,15秒视频仅需9秒生成,速度远超播放需求。网站上线首日吸引3.7万观众,但内容质量参差不齐,成本高昂(月约20.7万美元),引发对AI视频实时生成时代及内容质量的争议。
AI SDK 7是一个TypeScript SDK,支持构建AI应用程序,具有每周超过1600万的下载量。新版本增强了代理的开发和运行能力,包括推理控制、工具上下文、文件和技能上传等功能。同时,它支持实时语音和视频生成,提供更好的可观察性和性能统计,适用于多种模型提供者。
缅因猫(MaineCoon)是一种新型AI音视频生成模型,具备实时生成和高质量输出的能力,推理速度达到47.5 FPS,成本低,能生成超过30分钟的内容。该模型通过自重采样和流式表征对齐技术,解决了传统模型的延迟和音画不同步问题,提供更自然的社交互动体验。开发团队Catnip由年轻技术专家组成,致力于推动下一代社交平台的发展。
Dataland是全球首个人工智能艺术博物馆,将于6月20日开放。由Refik Anadol创办,结合Google技术,展现实时生成的艺术作品。首展“机器梦:雨林”利用大型自然模型,将复杂环境数据转化为互动体验。
Noiz AI与香港科技大学、清华大学联合推出AudioX-Turbo音频生成模型,解决了生成速度慢和控制不精确的问题。该模型通过分布匹配蒸馏技术,将生成过程从50-200步缩减至4步,显著提升音质和实时生成能力。AudioX-Turbo的开源代码和数据集将推动音频生成技术的发展,应用于互动剧配音和实时音效等领域。
SentiPulse与人大高瓴联合推出开源3D数字人框架SentiAvatar,旨在突破数字人行业的表达与动作瓶颈,实现自然流畅的交互。该框架通过高质量数据集和创新模型,提升数字人的情感表达能力,支持实时生成动作与表情,推动数字人向“理解交流”发展。
谷歌推出了Project Genie,这是一个实验性原型,允许用户通过文本和图像实时生成和探索互动世界。该项目旨在推动通用人工智能的发展,目前已向美国的Google AI Ultra订阅者开放。
魔珐科技推出全球首个具身智能3D数字人开放平台“魔珐星云”,实现大模型与实体机器人自然互动,支持实时生成数字人的语音、表情和动作,广泛应用于酒店和政务等场景,推动具身智能发展。
百度蒸汽机实现了AI视频的实时流式生成,用户可以边观看边生成视频,并随时修改剧情,打破了传统生成的时长限制。这一技术突破使AI视频创作更加互动高效,标志着从短片段向长篇叙事的转变。
本研究探讨量子蓄水池计算在时间序列分析中的应用,特别是实时生成《超级马里奥兄弟》关卡。研究者开发了一个新的Roblox游戏,揭示了实时生成中的特定约束,为未来的游戏设计提供了新思路。
腾讯推出混元图像2.0,实现边说边画的实时图像生成,响应速度达到毫秒级。用户可通过文字或手绘输入,系统即时生成图像。该模型具备更大参数和高效图像编解码器,提升了生成效果和真实感。
AI技术正在扩展《我的世界》,玩家可通过简单操作自由探索和创作。Matrix-Game模型支持实时生成高质量场景,提升交互体验,推动3D AIGC发展。
本研究提出了一种基于门控循环单元的变分自编码器,旨在学习机器人操控的潜在配置空间表示。该方法能够实时生成新配置,提升机器人操控的灵活性和适应性。
爱诗科技的PixVerse V3.5视频模型实现接近实时的生成速度,显著提升运动控制和画质,支持多种动画风格,降低影视制作门槛,提供流畅的内容创作体验。
本研究提出了一种新方法,通过在训练中向输入嵌入注入随机噪声,解决了连续自回归模型在生成长序列时的误差积累问题。实验表明,该方法在音乐音频生成中显著提升了性能,为实时和交互式生成应用提供了新可能性。
开源公司Lightricks推出LTX-Video,这是首个实时生成高质量视频的模型。该模型在Nvidia H100上仅需4秒生成5秒的24FPS视频,完全开源,支持低成本本地运行,能够提供自然逼真的效果,减少闪烁和伪影,确保视频细节清晰。未来将发布技术报告。
本研究提出了一种新系统,使用Open AI的Whisper替代传统音频特征提取模型,解决了实时谈话头像生成中的延迟问题。实验结果表明,Whisper提高了处理速度和渲染质量,增强了AI化身在采访者培训中的应用潜力。
AI公司DecartAI与Etched推出了Oasis世界引擎,能够实时生成类似《我的世界》的游戏画面和规则。尽管每秒生成20帧且画质为360p,玩家体验依然自由多变。然而,游戏画面跳跃使部分玩家感到不适,甚至恐惧,显示出AI游戏的快速发展。
AI游戏Oasis实现实时生成,颠覆传统开发,玩家可自由探索个性化世界。该技术基于Transformer架构,具备快速和强互动性,但存在记忆短板。Etched与Decart AI合作,推动AI游戏新形态。
完成下面两步后,将自动完成登录并继续当前操作。