Llama.cpp

llama.cpp python 库是 @ggerganov llama.cpp 的一个简单的 Python 绑定。 此软件包提供：

• 通过 ctypes 接口低层访问 C API。
• 用于文本补全的高级 Python API
  • OpenAI 风格的 API
  • LangChain 兼容性
  • LlamaIndex 兼容性
• 与 OpenAI 兼容的 Web 服务器
  • 本地 Copilot 替代品
  • 函数调用支持
  • 视觉 API 支持
  • 多模型

​

安装和设置

• 安装 Python 包
  复制

  向 AI 提问

  pip install llama-cpp-python
  

• 下载一个支持的模型，并根据说明将其转换为 llama.cpp 格式。

​

聊天模型

from langchain_community.chat_models import ChatLlamaCpp

​

LLMs

from langchain_community.llms import LlamaCpp

​

嵌入模型

from langchain_community.embeddings import LlamaCppEmbeddings