圣诞假期是进行爱好项目的好时机。作者尝试在本地运行开源的deepseek模型,尽管硬件较旧,但仍乐在其中。使用Ubuntu虚拟机设置环境,虽然速度慢,但体验有趣。计划进行三个家庭实验,包括使用Python脚本调用本地LLM、测试不同LLM性能和安装稳定扩散生成图片。
该研究提出了一种新方法,结合稳定扩散的想象网络和增强学习,有效利用视觉信息,显著提升多模态翻译效果。
本研究提出了一种新的渲染精化稳定扩散(RefSD)方法,解决了传统伪匿名化技术在保护图像数据集身份隐私时的实用性问题。该方法结合3D渲染与稳定扩散技术,提升了数据的真实性和可定制性,训练模型在检测任务中的表现优于真实数据。
谷歌开发的新游戏引擎“Game and Gen”使用人工智能技术实时创建游戏世界,无需传统编码。该引擎受到1993年游戏“Doom”的启发,使用稳定扩散和强化学习等先进技术。AI负责游戏的图形、角色和环境交互。尽管“Game and Gen”目前还不适用于商业游戏,但其潜力巨大,未来可能应用于机器人等领域。AI和机器人的发展将在未来发挥重要作用。
本文提出了一种基于动态防御策略和稳定扩散的方法,以提高AI系统在对抗性攻击下的韧性。研究涉及边缘计算与云系统的协同推理,提出了高效的对抗检测和防御框架,并评估了不同威胁模型下的防御效果,强调了模型的鲁棒性和低功耗边缘的能效。
本研究提出了一种基于稳定扩散的单目深度估计方法Marigold,利用生成模型的先验知识,在多个数据集上实现了先进性能。通过自监督框架MonoDiffusion和生成网络,解决了深度数据不足的问题,并在KITTI和Make3D数据集上表现优异。此外,ZeroDepth框架在不同域和相机参数下也取得了最佳成果,显著提升了深度估计的准确性。
稳定扩散(SD)模型因其高质量输出受到关注,但也带来了社交媒体安全隐患。为解决水印嵌入的成本问题,提出了一种无需训练的即插即用水印框架,能够有效嵌入水印并保持图像质量。此外,研究探讨了图像清洗的法医学影响,并提出了两阶段检测流程以区分不同类型图像。新技术提升了水印的隐蔽性和鲁棒性,确保生成图像的版权保护。
该研究提出了一种基于多模态大型语言模型的生成助手(LLMGA),用于图像生成和编辑。通过精确控制生成提示,优化稳定扩散(SD)的结果,并引入恢复网络以减少图像编辑中的差异。实验表明,LLMGA 具有良好的生成能力,适用于更广泛的应用。
本文评估了扰动保护图像的方法,提出了一种保留图像结构的净化技术。研究表明,稳定扩散能够有效学习净化图像,并适应多种保护方法。ClassDiffusion技术通过语义保持损失改善了微调模型的组合能力,并扩展到个性化视频生成。同时,研究揭示了扩散模型在数据增强中的局限性及其潜力,强调了对扩散模型滥用的审查必要性。
本文探讨了通过稳定扩散实验对初始图像进行操作,以控制生成图像的内容和布局。研究发现,像素块的生成偏好主要由其值决定,通过移动特定像素块到指定区域,可以显著提升图像生成的灵活性和性能。此外,提出了数据增强策略和区域引导抽样技术,以提高生成图像的质量和个性化控制能力。
本研究引入人类喜好数据集和偏好评分模型,以更准确评估文本到图像生成模型的质量。通过人类评分和分类器,提出了一种基于稳定扩散的方法,生成更符合人类审美的图像。同时,开发了ImageReward模型,成为文本到图像合成的有效评估标准。
稳定扩散是一种先进的图像处理技术,用于修复图像中的缺失像素或重建图像区域。它使用文本编码器、U-Net和变分自编码器等组件。稳定扩散还提供了Inpaint Anything扩展,方便创建遮罩。此外,它支持图像外扩技术,生成与原始图像上下文一致的新像素。稳定扩散是一种强大的生成AI工具,适用于生成、修复和扩展图像等任务。
本文介绍了一种新方法,通过文本提示和3D网格生成纹理,结合深度信息和稳定扩散技术。模型在Objaverse数据集上测试,结果显示生成的纹理质量更高且速度更快。研究探讨了影响生成质量的因素,并提出了MetaDreammer和RealmDreamer等新技术,以提升3D生成的效率和可控性。
本文介绍了使用稳定扩散生成图片的关键技术,包括模型、采样器和步数。合理构建提示可以帮助生成理想的图片,包括主题、媒介、艺术风格、著名艺术家、网站、分辨率、光照和颜色等。稳定扩散的输出结果因模型不同而异,需要不断尝试找到最佳生成效果。
GPT-3的引入标志着生成AI(GenAI)革命的开始。稳定扩散是GenAI家族中的一员,具有自定义性、可在自己的硬件上运行和不断改进的特点。稳定扩散在从文本和现有图像生成图像方面取得了显著成功。稳定扩散通过投影输入到降维潜在空间中,通过编码器和解码器网络减少计算需求。可以通过WebUI和CompfyUI两种方式在计算机上使用稳定扩散。
IOPaint是一款开源图像修复工具,基于SOTA AI模型,能够移除图片中的不需要对象和瑕疵,支持稳定扩散技术。它提供Web界面,兼容CPU、GPU和Apple Silicon,并支持批处理操作。
该文综述信息隐藏技术,重点研究数字保护中的图像隐写。提出“信息准确性”新度量与LSE损失函数以提升消息解码精度,并引入潜在感知编码,利用稳定扩散生成隐写图像,兼顾图像质量与信息恢复。还涉及深度神经网络、生成对抗网络等实现高容量、抗隐写分析的隐藏方法。
本文综述扩散模型在医学合成图像生成中的研究。稳定扩散生成的皮肤镜数据可提升卷积网络与视觉转换器的鲁棒性;结构化文本提示将FID从178.8降至90.2,生成的图像病理学家难以辨别真伪。合成数据可用于训练AI模型,但真实数据仍不可或缺。该技术还应用于腹腔镜图像、苹果检测、皮肤病变分类及胸部X射线,但存在分类偏差与幻像风险。
本文综述生成式AI在城市设计与规划中的应用,重点介绍结合GAN与稳定扩散模型构建的全流程公园生成设计方法:提取城市环境信息、生成方案、优化细节并将分辨率扩大64倍。结果表明,场地内外关系影响生成结果,稳定扩散显著提升信息丰富度。扩散模型还用于卫星图像修复、城市流量预测、三维场景生成及土地利用配置等领域。
本研究通过稳定扩散生成新图像,探讨了一种新的方法来创建先进的视觉问答模型。使用增强的数据集测试基线和最新的VQA模型的组合,评估它们对未来数据分布的性能。研究突出了创建大规模未来偏移数据集的重要性,以增强VQA模型的稳健性。
完成下面两步后,将自动完成登录并继续当前操作。