跳到主要内容
LlamaEdge 是在本地或边缘运行定制和微调 LLM 的最简单、最快速的方式。
  • 轻量级推理应用。LlamaEdge 的大小以 MB 计，而非 GB 计。
  • 原生和 GPU 加速性能
  • 支持多种 GPU 和硬件加速器
  • 支持多种优化推理库
  • 多种 AI / LLM 模型可供选择

​
安装和设置

请参阅安装说明。

​
聊天模型

请参阅使用示例。 
from langchain_community.chat_models.llama_edge import LlamaEdgeChatService
在 GitHub 上编辑此页面源文件。
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.