跳到主要内容
Shale 协议为开放式 LLM 提供生产就绪的推理 API。它是一个即插即用的 API,因为它托管在高度可扩展的 GPU 云基础设施上。 我们的免费套餐支持每个密钥每天多达 1K 次请求,因为我们希望消除任何人使用 LLM 构建生成式 AI 应用程序的障碍。 通过 Shale 协议,开发人员/研究人员可以免费创建应用程序并探索开放式 LLM 的功能。 本页介绍 Shale-Serve API 如何与 LangChain 集成。 截至 2023 年 6 月,API 默认支持 Vicuna-13B。我们将在未来的版本中支持更多 LLM,例如 Falcon-40B。

如何使用

2. 使用https://shale.live/v1作为 OpenAI API 的替代品

例如:
from langchain_openai import OpenAI
from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import StrOutputParser

import os
os.environ['OPENAI_API_BASE'] = "https://shale.live/v1"
os.environ['OPENAI_API_KEY'] = "ENTER YOUR API KEY"

llm = OpenAI()

template = """Question: {question}

# Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)


llm_chain = prompt | llm | StrOutputParser()

question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"

llm_chain.invoke(question)


以编程方式连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.