跳到主要内容
Banana 为 AI 模型提供无服务器 GPU 推理、CI/CD 构建管道以及一个简单的 Python 框架 (Potassium) 来服务你的模型。
本页面介绍了如何在 LangChain 中使用 Banana 生态系统。

​
安装和设置

  • 安装 Python 包 banana-dev
pip install banana-dev
  • 从 Banana.dev 控制台 获取 Banana API 密钥，并将其设置为环境变量 (BANANA_API_KEY)。
  • 从模型详情页面获取你的模型密钥和 URL slug。

​
定义你的 Banana 模板

你需要为你的 Banana 应用设置一个 Github 仓库。你可以通过这份指南在 5 分钟内开始。 或者，对于一个即用型 LLM 示例，你可以查看 Banana 的 CodeLlama-7B-Instruct-GPTQ GitHub 仓库。只需 Fork 它并在 Banana 中部署即可。 其他入门仓库可在此处获取这里。

​
构建 Banana 应用

要在 LangChain 中使用 Banana 应用，你必须在返回的 JSON 中包含 outputs 键，并且其值必须是一个字符串。 
# Return the results as a dictionary
result = {'outputs': result}
一个示例推理函数如下： 
@app.handler("/")
def handler(context: dict, request: Request) -> Response:
    """Handle a request to generate code from a prompt."""
    model = context.get("model")
    tokenizer = context.get("tokenizer")
    max_new_tokens = request.json.get("max_new_tokens", 512)
    temperature = request.json.get("temperature", 0.7)
    prompt = request.json.get("prompt")
    prompt_template=f'''[INST] Write code to solve the following coding problem that obeys the constraints and passes the example test cases. Please wrap your code answer using ```:
    {prompt}
    [/INST]
    '''
    input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
    output = model.generate(inputs=input_ids, temperature=temperature, max_new_tokens=max_new_tokens)
    result = tokenizer.decode(output[0])
    return Response(json={"outputs": result}, status=200)
此示例来自 CodeLlama-7B-Instruct-GPTQ 中的 app.py 文件。

​
LLM

from langchain_community.llms import Banana
查看使用示例。
在 GitHub 上编辑此页面源文件。
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.