多模态消息
文本 · 图片 · 音频 · content 列表格式

1 什么是多模态消息？content 列表格式详解

在前面的课程里，HumanMessage(content="...") 的 content 是一个字符串。但 LangChain 的消息系统支持一种更强大的格式：content 列表——把多种媒体类型组合在同一条消息里。

content 列表的每个元素是一个字典，包含 type 字段，用于区分内容类型：

2 文本输入：最基础的 content 列表格式

即使是纯文本消息，也可以用显式的列表格式写——这在需要与图片或音频组合时非常有用：

from langchain.messages import HumanMessage
from langchain.agents import create_agent

agent = create_agent(
    model=deepseek_model(),
    system_prompt="You are a science fiction writer, create a capital city at the users request.",
)

# 显式的 content 列表格式（等价于 content="What is the capital of The Moon?"）
question = HumanMessage(content=[
    {"type": "text", "text": "What is the capital of The Moon?"}
])

response = agent.invoke({"messages": [question]})
print(response['messages'][-1].content)

文本列表格式和字符串格式效果完全相同，只是写法不同。当需要在同一条消息里加入图片时，就需要在这个列表里追加图片元素。

3 图片输入：Base64 编码 + image_url 类型

把图片发送给多模态 LLM 的标准方式是：将图片转为 Base64 编码，然后用 Data URI 格式嵌入消息：

import base64

# 假设 img_bytes 是图片的 bytes 数据
img_b64 = base64.b64encode(img_bytes).decode("utf-8")

question = HumanMessage(content=[
    {
        "type": "text",
        "text": "What is in this image?"    # 文字问题
    },
    {
        "type": "image_url",
        "image_url": {
            "url": f"data:image/png;base64,{img_b64}"  # Data URI 格式
        }
    }
])

Data URI 格式解析

data:image/png;base64,{img_b64} 这个字符串的结构是：

4 图片上传流程：FileUpload → bytes → base64

在 Jupyter Notebook 里，可以用 ipywidgets.FileUpload 提供图片上传 UI，然后读取上传的文件数据：

from ipywidgets import FileUpload
from IPython.display import display
import base64

# 显示上传按钮
uploader = FileUpload(accept='.png', multiple=False)
display(uploader)

# 上传完成后（用户选择文件后）：
uploaded_file = uploader.value[0]  # 第一个上传的文件

# 关键：uploaded_file["content"] 是 memoryview，不是 bytes
content_mv = uploaded_file["content"]
img_bytes = bytes(content_mv)   # memoryview → bytes

# Base64 编码
img_b64 = base64.b64encode(img_bytes).decode("utf-8")

上传的文件信息结构

print(uploader.value[0])

5 音频输入：录音 + WAV 编码 + base64

同样的思路——录制麦克风音频，转为 base64，发送给支持音频输入的 LLM：

import sounddevice as sd
from scipy.io.wavfile import write
import base64
import io

# 录制 5 秒音频
duration = 5
sample_rate = 44100

print("Recording...")
audio = sd.rec(int(duration * sample_rate), samplerate=sample_rate, channels=1)
sd.wait()  # 等待录音完成
print("Done.")

# 写入内存 WAV 缓冲区
buf = io.BytesIO()
write(buf, sample_rate, audio)  # scipy 写 WAV 格式
wav_bytes = buf.getvalue()

# Base64 编码
aud_b64 = base64.b64encode(wav_bytes).decode("utf-8")

音频消息格式（针对支持音频的模型）：

question = HumanMessage(content=[
    {
        "type": "input_audio",
        "data": aud_b64,
        "format": "wav"
    }
])

6 模型多模态支持现状：DeepSeek vs 专用多模态模型

并非所有模型都支持图片或音频输入。notebook 里明确提醒了这一点：

多模态支持矩阵

7 多模态消息格式速查

HumanMessage(content=[
    {"type": "text", "text": "你的问题"}
])
# 简写等价：HumanMessage(content="你的问题")

HumanMessage(content=[
    {"type": "text", "text": "这张图里有什么？"},
    {
        "type": "image_url",
        "image_url": {
            # 方式 1：base64 Data URI
            "url": f"data:image/png;base64,{img_b64}"
            # 方式 2：公开 URL
            # "url": "https://example.com/image.png"
        }
    }
])

HumanMessage(content=[
    {
        "type": "input_audio",
        "data": aud_b64,    # base64 编码的音频
        "format": "wav"    # 音频格式：wav / mp3
    }
])
# 注意：需要使用支持音频输入的模型（如 GPT-4o-audio）