DeepSparse - LangChain 文档

安装和设置
LLMs

本页面介绍了如何在 LangChain 中使用 DeepSparse 推理运行时。它分为两部分：安装和设置，以及 DeepSparse 使用示例。

安装和设置

使用 pip install deepsparse 安装 Python 包
选择一个 SparseZoo 模型或使用 Optimum 将支持的模型导出为 ONNX 格式

LLMs

有一个 DeepSparse LLM 封装器，你可以通过以下方式访问它

from langchain_community.llms import DeepSparse

它为所有模型提供统一的接口

llm = DeepSparse(model='zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none')

print(llm.invoke('def fib():'))

可以使用 config 参数传递其他参数

config = {'max_generated_tokens': 256}

llm = DeepSparse(model='zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none', config=config)

在 GitHub 上编辑此页面源文件。

以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。

⌘I

© . This site is unofficial and not affiliated with LangChain, Inc.