SketchGPT：基于自回归模型的素描生成与识别
内容提要
本文介绍了多种生成式语言模型的创新，包括RecycleGPT、StockGPT和D-iGPT。StockGPT在股票收益预测中表现优异，年收益达到119%。D-iGPT通过语义标记提升视觉内容理解，显示出生成型人工智能在复杂金融决策及其他领域的潜力。
延伸解读
生成式模型的多领域突破
文章展示了生成式语言模型在多个领域的创新应用，包括金融预测、视觉理解、交通规划、人体运动生成、点云处理和移动性建模。这些案例表明，自回归模型和注意力机制不仅适用于自然语言处理，还能有效解决跨领域的复杂问题，如股票收益预测和时空数据建模。
StockGPT的金融预测表现
StockGPT在美国股票每日收益数据上预训练，将收益序列视为标记序列，利用注意力机制自动学习预测未来收益。在2001年至2023年的测试中，基于其预测的多空投资组合年收益达119%，夏普比率6.5，并能解释动量和反转现象，凸显了生成式AI在金融决策中的潜力。
视觉与运动生成的技术进展
D-iGPT通过将预测目标从原始像素转移到语义标记，提升了视觉内容理解，在ImageNet-1K上表现优异。PoseGPT和PointGPT将GPT模型扩展到人体运动序列和点云生成，取得了最先进的结果。这些进展显示了自回归模型在视觉和运动任务中的通用性。
Sketch-BERT与素描识别
Sketch-BERT是一种基于Transformer的素描领域学习模型，包含新设计的素描嵌入网络和自监督学习的素描格式塔。它在预训练和下游任务中提高了素描识别、检索和格式塔任务的表现，为素描生成与识别提供了有效方法。
Q&A
RecycleGPT 是什么？
RecycleGPT 是一种生成式语言模型，通过回收预先生成的模型状态，实现了 1.4 倍的加速和降低推理延迟。
StockGPT 在股票预测中表现如何？
StockGPT 在股票收益预测中表现优异，年收益达到 119%，夏普比率为 6.5。
D-iGPT 如何提升视觉内容理解？
D-iGPT 通过将预测目标从原始像素转移到语义标记上，提升了视觉内容理解的能力。
时空预训练框架的应用领域是什么？
时空预训练框架在交通管理和旅行规划方面取得了显著效果。
MobilityGPT 是如何建模人类移动性的？
MobilityGPT 利用生成预训练变压器建模人类移动性，生成符合地理空间限制的高质量移动轨迹。
Sketch-BERT 的主要功能是什么？
Sketch-BERT 是一种基于 Transformer 的模型，提升了 sketch 识别和检索的表现。
