多模态 API“一切天然相关的事物都应结合起来教授”——约翰·阿摩司·夸美纽斯《世界图解》1658年人类同时通过多种数据输入模式处理知识。我们的学习方式、我们的经历都是多模态的。我们不仅仅有视觉、仅仅有音频或仅仅有文本。与这些原则相反机器学习往往侧重于针对单一模态进行特化的专用模型。例如我们开发了用于文本转语音或语音转文本等任务的音频模型以及用于目标检测和分类等任务的计算机视觉模型。然而新一波多模态大语言模型开始涌现。例如OpenAI 的 GPT、Google 的 Gemini、Anthropic 的 Claude以及开源方案 Llama、LLaVA 和 BakLLaVA它们能够接受多种输入包括文本、图像、音频和视频并通过整合这些输入来生成文本响应。多模态大语言模型LLM特性使模型能够结合图像、音频或视频等其他模态来处理和生成文本。Spring AI 多模态多模态指的是模型能够同时理解并处理来自各种来源的信息的能力这些来源包括文本、图像、音频和其他数据格式。Spring AI 的 Message API 提供了支持多模态 LLM 所需的全部抽象。Spring AI Message APIUserMessage的content字段主要用于文本输入而可选的media字段则允许添加一个或多个其他模态的附加内容例如图像、音频和视频。MimeType用于指定模态类型。根据所使用的 LLMMedia的数据字段既可以是作为Resource对象的原始媒体内容也可以是内容的 URI。目前media字段仅适用于用户输入消息例如UserMessage对于系统消息没有意义。包含 LLM 响应的AssistantMessage仅提供文本内容。要生成非文本媒体输出应使用专用的单模态模型之一。*例如我们可以将以下图片multimodal.test.png作为输入并要求 LLM 解释它所看到的内容。多模态测试图像对于大多数多模态 LLMSpring AI 的代码大致如下varimageResourcenewClassPathResource(/multimodal.test.png);varuserMessageUserMessage.builder().text(解释一下你在这张图片中看到了什么)// content.media(newMedia(MimeTypeUtils.IMAGE_PNG,this.imageResource))// media.build();ChatResponseresponsechatModel.call(newPrompt(this.userMessage));或者使用流畅的 ChatClient APIStringresponseChatClient.create(chatModel).prompt().user(u-u.text(解释一下你在这张图片中看到了什么).media(MimeTypeUtils.IMAGE_PNG,newClassPathResource(/multimodal.test.png))).call().content();并产生类似这样的响应这是一张水果碗的图片设计简约。碗由金属制成带有弯曲的金属丝边缘构成开放式结构使水果从各个角度都可见。碗里有两根黄香蕉放在一个看起来像是红苹果的上面。香蕉略微过熟果皮上有棕色斑点。碗顶部有一个金属环很可能用作提手。碗被放置在一个平坦的表面上背景为中性色可以清晰地看到里面的水果。Spring AI 为以下聊天模型提供了多模态支持Anthropic ClaudeAWS Bedrock ConverseMistral AI例如 Mistral Pixtral 模型Ollama例如 LLaVA、BakLLaVA、Llama 模型OpenAI例如 GPT 模型Google Gemini
