跳到主要内容
本文档旨在帮助您开始使用 Fireworks AI 聊天模型。有关所有 ChatFireworks 功能和配置的详细文档，请参阅API 参考。 Fireworks AI 是一个用于运行和自定义模型的 AI 推理平台。有关 Fireworks 提供的所有模型列表，请参阅 Fireworks 文档。

​
概览

​
集成详情

类别包本地可序列化JS 支持下载量版本
ChatFireworkslangchain-fireworks❌测试版✅PyPI - DownloadsPyPI - Version

​
模型功能

工具调用结构化输出JSON 模式图像输入音频输入视频输入令牌级流式传输原生异步Token 用量Logprobs
✅✅✅❌❌❌✅✅✅✅

​
设置

要访问 Fireworks 模型，您需要创建一个 Fireworks 账户，获取一个 API 密钥，并安装 langchain-fireworks 集成包。

​
凭据

前往 (fireworks.ai/login 注册 Fireworks 并生成 API 密钥。完成后，设置 FIREWORKS_API_KEY 环境变量。 
import getpass
import os

if "FIREWORKS_API_KEY" not in os.environ:
    os.environ["FIREWORKS_API_KEY"] = getpass.getpass("Enter your Fireworks API key: ")
要启用模型调用的自动化跟踪，请设置您的 LangSmith API 密钥 
os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
os.environ["LANGSMITH_TRACING"] = "true"

​
安装

LangChain Fireworks 集成位于 langchain-fireworks 包中。 
pip install -qU langchain-fireworks

​
实例化

现在我们可以实例化我们的模型对象并生成聊天完成
  • 待办：使用相关参数更新模型实例化。
from langchain_fireworks import ChatFireworks

llm = ChatFireworks(
    model="accounts/fireworks/models/kimi-k2-instruct-0905", # Model library in: https://app.fireworks.ai/models
    temperature=0,
    max_tokens=None,
    timeout=None,
    max_retries=2,
    # other params...
)

​
调用

messages = [
    (
        "system",
        "You are a helpful assistant that translates English to French. Translate the user sentence.",
    ),
    ("human", "I love programming."),
]
ai_msg = llm.invoke(messages)
ai_msg

AIMessage(content="J'adore la programmation.", additional_kwargs={}, response_metadata={'token_usage': {'prompt_tokens': 31, 'total_tokens': 41, 'completion_tokens': 10}, 'system_fingerprint': '', 'finish_reason': 'stop', 'logprobs': None, 'model_provider': 'fireworks', 'model_name': 'accounts/fireworks/models/kimi-k2-instruct-0905'}, id='lc_run--a2bdeca3-6394-4c80-97ad-2fc8db9f54bb-0', usage_metadata={'input_tokens': 31, 'output_tokens': 10, 'total_tokens': 41})

print(ai_msg.content)

J'adore la programmation.

​
API 参考

有关所有 ChatFireworks 功能和配置的详细文档，请参阅 API 参考 要使用 langchain-fireworks 包，请按照以下安装步骤操作：
pip install langchain-fireworks

​
基本用法

​
设置

  1. 登录 Fireworks AI 以获取访问模型的 API 密钥，并确保将其设置为 FIREWORKS_API_KEY 环境变量。 登录并获取 API 密钥后，请按照以下步骤设置 FIREWORKS_API_KEY 环境变量：
    • Linux/macOS： 打开您的终端并执行以下命令
    export FIREWORKS_API_KEY='your_api_key'
    注意： 为了使此环境变量在所有终端会话中持久化，请将上述行添加到您的 ~/.bashrc、~/.bash_profile 或 ~/.zshrc 文件中。
    • Windows： 对于命令提示符，使用
    set FIREWORKS_API_KEY=your_api_key
  2. 使用模型 ID 设置您的模型。如果未设置模型，默认模型为 fireworks-llama-v2-7b-chat。请参阅 fireworks.ai 上的完整、最新的模型列表。 
import getpass
import os
from langchain_fireworks import ChatFireworks

# Initialize a Fireworks model
llm = ChatFireworks(
    model="accounts/fireworks/models/llama-v3p1-8b-instruct",
    base_url="https://api.fireworks.ai/inference/v1/completions",
)

​
直接调用模型

您可以直接使用字符串提示调用模型以获取补全。 
# Single prompt
output = llm.invoke("Who's the best quarterback in the NFL?")
print(output)

# Calling multiple prompts
output = llm.generate(
    [
        "Who's the best cricket player in 2016?",
        "Who's the best basketball player in the league?",
    ]
)
print(output.generations)

​
高级用法

​
工具使用：LangChain Agent + Fireworks 函数调用模型

请查看 此笔记本，了解如何教授 Fireworks 函数调用模型使用计算器。 Fireworks 专注于为快速模型推理和工具使用提供最佳体验。您可以查看 我们的博客，了解它与 GPT-4 的对比详情，主要结论是它在函数调用用例方面与 GPT-4 不相上下，但速度更快且成本更低。

​
RAG：LangChain Agent + Fireworks 函数调用模型 + MongoDB + Nomic AI 嵌入

请查看 此处的 Cookbook，了解端到端流程。
在 GitHub 上编辑此页面源文件。
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.