多模态GPT-V出世！36种场景分析ChatGPT Vision能力，LMM将全面替代语言大模型？
内容提要
GPT-4V是一种结合了文本和图像处理能力的AI模型，可用于图像描述和创意设计等应用。然而，它在准确性和幻觉方面仍存在局限性。它适用于自动图像筛选和创意工作，但不适用于精确的文本相关任务或复杂的图像。GPT-4V能够识别多个图像，并在医学成像和皮肤疾病诊断等各种场景中进行了测试。由于隐私问题，它不适用于人脸识别。
延伸解读
GPT-4V的定位：创造性理解而非精确识别
GPT-4V更偏向于有创造性的图片理解，而非机器性细节识别。它试图以大模型的涌现能力，从高层次理解整个图片，将图片如同文字一般对待，而非是OCR式的匹配识别。这种区别类似于语义搜索与关键词搜索的区别。因此，它适用于上下文概念性工作和图片创意性工作，但不适用于有精确性要求的文字工作或主体过多的复杂图片。
幻觉问题与提示方法的局限
GPT-4V具有较大幻觉问题，Few-shot/CoT等Prompting方法也无法改善这一点，说明其涌现能力不足，仍处于像当年ChatGPT v3一样的初期阶段。在医疗诊断等场景中，GPT-4V可能给出错误或不确定的结果，例如在皮肤疾病诊断中置信度较低。预计未来几年随着参数规模的进一步提升，多模态大模型可能会复现文本大模型的发展路径。
隐私与安全考量
由于隐私问题，GPT-4V不适用于人脸识别。在早期模型中，用户理论上可以上传人物照片并要求识别，这侵犯隐私。根据技术论文，GPT-4V现在拒绝此类请求的时间达到了98%。此外，GPT-4V可能被不可见的水印或文字操纵，例如在简历中嵌入隐藏指令以影响输出，这提示了潜在的安全风险。
性能与使用成本
GPT-4V目前对美国区ChatGPT Plus账户开放，月费20美元，限速3小时25条。11月6日gpt-4-vision-preview提供API开放，定价视图片尺寸而定，1080x1080图像输入定价0.00765美元。在处理速度上，GPT-4V比纯文本中文Prompt慢40%左右，但当从GPT4切换到GPT-V后，纯文本中文Prompt速度提升了大概200%。
Q&A
GPT-4V的主要功能是什么？
GPT-4V结合了文本和图像处理能力，适用于图像描述和创意设计等应用。
GPT-4V在准确性方面存在哪些问题？
GPT-4V在准确性和幻觉方面存在局限性，不适用于精确的文本相关任务或复杂图像。
GPT-4V适合哪些应用场景？
GPT-4V适用于上下文概念性工作和图片创意性工作，如医学成像和商品文案生成。
GPT-4V在处理速度上与纯文本相比如何？
GPT-4V的处理速度比纯文本慢40%，但切换到GPT-V后速度提升200%。
为什么GPT-4V不适用于人脸识别？
由于隐私问题，GPT-4V不适用于人脸识别，现已拒绝此类请求的时间达到了98%。
GPT-4V的使用方法是什么？
GPT-4V目前对美国区ChatGPT Plus账户开放，并提供API。
