Beam

调用 Beam API 封装器，以在云部署中部署并随后调用 gpt2 LLM 实例。需要安装 Beam 库并注册 Beam 客户端 ID 和客户端密钥。通过调用封装器，将创建并运行模型实例，返回与提示相关的文本。然后可以通过直接调用 Beam API 进行额外调用。创建一个账户（如果您还没有）。从仪表盘获取您的 API 密钥。安装 Beam CLI

!curl https://raw.githubusercontent.com/slai-labs/get-beam/main/get-beam.sh -sSfL | sh

import os

beam_client_id = "<Your beam client id>"
beam_client_secret = "<Your beam client secret>"

# Set the environment variables
os.environ["BEAM_CLIENT_ID"] = beam_client_id
os.environ["BEAM_CLIENT_SECRET"] = beam_client_secret

# Run the beam configure command
!beam configure --clientId={beam_client_id} --clientSecret={beam_client_secret}

安装 Beam SDK

pip install -qU  beam-sdk

直接从 LangChain 部署和调用 Beam！ 请注意，冷启动可能需要几分钟才能返回响应，但后续调用会更快！

from langchain_community.llms.beam import Beam

llm = Beam(
    model_name="gpt2",
    name="langchain-gpt2-test",
    cpu=8,
    memory="32Gi",
    gpu="A10G",
    python_version="python3.8",
    python_packages=[
        "diffusers[torch]>=0.10",
        "transformers",
        "torch",
        "pillow",
        "accelerate",
        "safetensors",
        "xformers",
    ],
    max_length="50",
    verbose=False,
)

llm._deploy()

response = llm._call("Running machine learning on a remote GPU")

print(response)

在 GitHub 上编辑此页面源文件。

以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。

热门提供商

按组件划分的集成