Ollama 功能和配置选项的详细文档,请参阅API 参考。
概览
集成详情
Ollama 允许您在本地运行开源大型语言模型,例如 Llama 3。 Ollama 将模型权重、配置和数据捆绑到一个包中,由 Modelfile 定义。它优化了设置和配置细节,包括 GPU 使用。 此示例介绍了如何使用 LangChain 与 Ollama 运行的 Llama 2 7b 实例进行交互。有关支持的模型和模型变体的完整列表,请参阅Ollama 模型库。| 类别 | 包 | 本地 | 可序列化 | PY 支持 | 下载量 | 版本 |
|---|---|---|---|---|---|---|
Ollama | @langchain/ollama | ✅ | ❌ | ✅ |
设置
要访问 Ollama 嵌入模型,您需要按照这些说明安装 Ollama,并安装@langchain/ollama 集成包。
凭据
如果您想获取模型调用的自动化跟踪,您还可以通过取消注释下方来设置您的 LangSmith API 密钥安装
LangChain Ollama 集成位于@langchain/ollama 包中
实例化
现在我们可以实例化我们的模型对象并生成聊天完成调用
多模态模型
Ollama 在 0.1.15 及更高版本中支持开源多模态模型,例如LLaVA。您可以将 base64 编码的图像数据绑定到支持多模态的模型作为上下文,如下所示相关
API 参考
有关所有Ollama 功能和配置的详细文档,请访问API 参考
以编程方式连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。