跳到主要内容
在深入了解此内容之前,阅读以下指南将有所帮助
以下功能在以下 SDK 版本中可用
  • Python SDK: >=0.1.141
  • JS/TS SDK: >=0.2.5
LangSmith 支持上传二进制文件(例如图片、音频、视频、PDF 和 CSV)与您的追踪数据。这在使用多模态输入或输出的 LLM 管道时尤其有用。 在 Python 和 TypeScript SDK 中,可以通过指定每个文件的 MIME 类型和二进制内容来将附件添加到您的追踪中。本指南解释了如何使用 Python 中的 `Attachment` 类型和 TypeScript 中的 `Uint8Array` / `ArrayBuffer` 来定义和追踪附件。

Python

在 Python SDK 中,您可以使用 `Attachment` 类型向您的追踪添加文件。每个 `Attachment` 需要
  • `mime_type` (str):文件的 MIME 类型(例如,`"image/png"`)。
  • `data` (bytes | Path):文件的二进制内容,或文件路径。
为方便起见,您还可以使用 `(mime_type, data)` 形式的元组来定义附件。 只需使用 `@traceable` 装饰器装饰一个函数,并将您的 `Attachment` 实例作为参数包含在内。请注意,要使用文件路径而不是原始字节,您需要在可追踪装饰器中将 `dangerously_allow_filesystem` 标志设置为 `True`。
Python
from langsmith import traceable
from langsmith.schemas import Attachment
from pathlib import Path
import os

# Must set dangerously_allow_filesystem to True if you want to use file paths
@traceable(dangerously_allow_filesystem=True)
def trace_with_attachments(
    val: int,
    text: str,
    image: Attachment,
    audio: Attachment,
    video: Attachment,
    pdf: Attachment,
    csv: Attachment,
):
    return f"Processed: {val}, {text}, {len(image.data)}, {len(audio.data)}, {len(video.data)}, {len(pdf.data), {len(csv.data)}}"

# Helper function to load files as bytes
def load_file(file_path: str) -> bytes:
    with open(file_path, "rb") as f:
        return f.read()

# Load files and create attachments
image_data = load_file("my_image.png")
audio_data = load_file("my_mp3.mp3")
video_data = load_file("my_video.mp4")
pdf_data = load_file("my_document.pdf")

image_attachment = Attachment(mime_type="image/png", data=image_data)
audio_attachment = Attachment(mime_type="audio/mpeg", data=audio_data)
video_attachment = Attachment(mime_type="video/mp4", data=video_data)
pdf_attachment = ("application/pdf", pdf_data) # Can just define as tuple of (mime_type, data)
csv_attachment = Attachment(mime_type="text/csv", data=Path(os.getcwd()) / "my_csv.csv")

# Define other parameters
val = 42
text = "Hello, world!"

# Call the function with traced attachments
result = trace_with_attachments(
    val=val,
    text=text,
    image=image_attachment,
    audio=audio_attachment,
    video=video_attachment,
    pdf=pdf_attachment,
    csv=csv_attachment,
)

TypeScript

在 TypeScript SDK 中,您可以使用 `Uint8Array` 或 `ArrayBuffer` 作为数据类型将附件添加到追踪中。每个附件的 MIME 类型在 `extractAttachments` 中指定
  • `Uint8Array`:用于直接处理二进制数据。
  • `ArrayBuffer`:表示固定长度的二进制数据,可以根据需要转换为 `Uint8Array`。
使用 `traceable` 包装您的函数,并将您的附件包含在 `extractAttachments` 选项中。 在 TypeScript SDK 中,`extractAttachments` 函数是 `traceable` 配置中的一个可选参数。当可追踪包装的函数被调用时,它会从您的输入中提取二进制数据(例如图片、音频文件)并将其与其他的追踪数据一起记录,并指定其 MIME 类型。 请注意,您不能在 TypeScript SDK 中直接传递文件路径,因为并非所有运行时环境都支持访问本地文件。
TypeScript
type AttachmentData = Uint8Array | ArrayBuffer;
type Attachments = Record<string, [string, AttachmentData]>;

extractAttachments?: (
    ...args: Parameters<Func>
) => [Attachments | undefined, KVMap];
TypeScript
import { traceable } from "langsmith/traceable";

const traceableWithAttachments = traceable(
    (
        val: number,
        text: string,
        attachment: Uint8Array,
        attachment2: ArrayBuffer,
        attachment3: Uint8Array,
        attachment4: ArrayBuffer,
        attachment5: Uint8Array,
    ) =>
        `Processed: ${val}, ${text}, ${attachment.length}, ${attachment2.byteLength}, ${attachment3.length}, ${attachment4.byteLength}, ${attachment5.byteLength}`,
    {
        name: "traceWithAttachments",
        extractAttachments: (
            val: number,
            text: string,
            attachment: Uint8Array,
            attachment2: ArrayBuffer,
            attachment3: Uint8Array,
            attachment4: ArrayBuffer,
            attachment5: Uint8Array,
        ) => [
            {
                "image inputs": ["image/png", attachment],
                "mp3 inputs": ["audio/mpeg", new Uint8Array(attachment2)],
                "video inputs": ["video/mp4", attachment3],
                "pdf inputs": ["application/pdf", new Uint8Array(attachment4)],
                "csv inputs": ["text/csv", new Uint8Array(attachment5)],
            },
            { val, text },
        ],
    }
);

const fs = Deno // or Node.js fs module
const image = await fs.readFile("my_image.png"); // Uint8Array
const mp3Buffer = await fs.readFile("my_mp3.mp3");
const mp3ArrayBuffer = mp3Buffer.buffer; // Convert to ArrayBuffer
const video = await fs.readFile("my_video.mp4"); // Uint8Array
const pdfBuffer = await fs.readFile("my_document.pdf");
const pdfArrayBuffer = pdfBuffer.buffer; // Convert to ArrayBuffer
const csv = await fs.readFile("test-vals.csv"); // Uint8Array

// Define example parameters
const val = 42;
const text = "Hello, world!";

// Call traceableWithAttachments with the files
const result = await traceableWithAttachments(
    val, text, image, mp3ArrayBuffer, video, pdfArrayBuffer, csv
);
以下是上述内容在 LangSmith UI 中的显示方式。您可以展开每个附件以查看其内容。
以编程方式连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.