智谱AI推出免费的清影版本，提高视频生成速度6倍，开放API给开发者使用。通过不同的Prompt生成不同风格的视频。智谱AI使用三维变分自编码器和端到端视频理解模型提高生成的一致性和连贯性。付费版本价格为5元和199元。

玩具反斗城品牌管理公司WHP Global首次使用OpenAI的文本到视频工具Sora制作了一部部分由人工智能生成的视频。视频将在toysrus.com上播出，并在法国戛纳狮奖节上首映。玩具反斗城计划在2024年开设多达24家门店，包括在机场和游轮上的门店。

A new open letter by insiders from major AI frontier companies, new interpretability research from OpenAI, and a new text to video model, and much more!

KLING is the latest AI video generator that could rival OpenAI's Sora, OpenAI is restarting its robotics research group, and more!

本文介绍了Open-Sora 1.1的视频生成效果和体验方法。Open-Sora是一个开源解决方案，可生成2s~15s，144p到720p分辨率的视频，支持文本到图像、文本到视频和图像到视频的生成。用户可以通过运行代码和模型来体验Open-Sora 1.1的视频生成效果。

自OpenAI推出Sora以来备受关注的文生视频概念及应用。DiT是一个文生图模型，将U-Net架构替换为Transformer架构。上海人工智能实验室开源了全球首个文生视频DiT：Latte，可自由部署。Latte通过预训练的变分自编码器将视频编码为特征，并利用Transformer结构进行编码和解码，生成连续、逼真的视频内容。Latte的研发团队与中央广播电视总台合作推出了中国原创文生视频动画。文生视频应用有望加速落地，推动影视行业的革命性发展。

Sora通过引入感知逼真度和创新价值重新定义了视觉内容的创建方式，扩展了用户使用文本到视频模型的意愿的理解。研究结果表明，感知逼真度和创新价值是最具影响力的驱动因素。模糊集定性比较分析识别出五种推动高和低使用意愿的配置。该研究为开发者和营销人员提供了有价值的见解，为推广文本到视频模型的广泛采用提供了指导。

本研究引入了名为SoraDetector的新型统一框架，通过幻觉现象分析和关键帧提取技术，在单帧和多帧中检测幻觉并生成视频质量报告。同时，开发了评估T2V幻觉检测进展的元评估基准T2VHaluBench，并证明了该方法的有效性。

5月2日，首个完全使用OpenAI的长视频生成模型Sora制作的MV发布。苹果CEO库克表示，《财富》百强公司中有一半已购买了Vision Pro设备用于办公。Counterpoint发布的数据显示，2024年第一季度全球智能手机市场出货量同比增长6%，三星取代苹果成为第一。苹果宣布在欧盟地区扩大免收核心技术费的情形，并将iPadOS的相关软件调整扩展到欧盟。阿里云通过缓存技术搭配QLC实现云主机数量翻倍。微软宣布未来版本的Windows将支持强制加密DNS功能。

China unveils Sora challenger able to produce videos from text similar to OpenAI tool, Capabilities of Gemini Models in Medicine, and more!