跳到主要内容
OctoAI 提供高效的计算资源,使用户能够将自己选择的 AI 模型集成到应用程序中。OctoAI 计算服务可帮助您轻松运行、调整和扩展 AI 应用程序。 本 Notebook 演示了如何将 langchain.chat_models.ChatOctoAI 用于 OctoAI 端点

设置

要运行我们的示例应用程序,需要执行两个简单步骤
  1. 您的 OctoAI 账户页面 获取 API 令牌。
  2. 将您的 API 令牌粘贴到下面的代码单元格中,或使用 octoai_api_token 关键字参数。
注意:如果您想使用不同于 可用模型 的模型,您可以将模型容器化并自行创建自定义 OctoAI 端点,方法是按照 从 Python 构建容器从容器创建自定义端点 的步骤操作,然后更新您的 OCTOAI_API_BASE 环境变量。
import os

os.environ["OCTOAI_API_TOKEN"] = "OCTOAI_API_TOKEN"
from langchain_community.chat_models import ChatOctoAI
from langchain.messages import HumanMessage, SystemMessage

示例

chat = ChatOctoAI(max_tokens=300, model_name="mixtral-8x7b-instruct")
messages = [
    SystemMessage(content="You are a helpful assistant."),
    HumanMessage(content="Tell me about Leonardo da Vinci briefly."),
]
print(chat(messages).content)
列奥纳多·达·芬奇(1452-1519)是一位意大利博学者,常被认为是历史上最伟大的画家之一。然而,他的天赋远远超出了艺术领域。他还是科学家、发明家、数学家、工程师、解剖学家、地质学家和制图师。 达·芬奇最著名的作品是他的画作,如《蒙娜丽莎》、《最后的晚餐》和《岩间圣母》。他的科学研究超越了他所处的时代,他的笔记本中包含各种机器、人体解剖和自然现象的详细图纸和描述。 尽管从未接受过正规教育,达·芬奇永不满足的好奇心和观察能力使他成为许多领域的先驱。他的作品至今仍在激励和影响着艺术家、科学家和思想家。
以编程方式连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.