跳到主要内容
IPEX-LLM 是一个 PyTorch 库，用于在英特尔 CPU 和 GPU（例如，带集成显卡的本地电脑，独立显卡如 Arc、Flex 和 Max）上以极低延迟运行 LLM。
本示例介绍如何使用 LangChain 在 Intel CPU 上通过 ipex-llm 优化执行嵌入任务。这对于 RAG、文档问答等应用将非常有用。

​
设置

pip install -qU langchain langchain-community
安装用于 Intel CPU 优化的 IPEX-LLM，以及 sentence-transformers。 
pip install --pre --upgrade ipex-llm[all] --extra-index-url https://download.pytorch.org/whl/cpu
pip install sentence-transformers
注意 对于 Windows 用户，安装 ipex-llm 时不需要 --extra-index-url https://download.pytorch.org/whl/cpu。

​
基本用法

from langchain_community.embeddings import IpexLLMBgeEmbeddings

embedding_model = IpexLLMBgeEmbeddings(
    model_name="BAAI/bge-large-en-v1.5",
    model_kwargs={},
    encode_kwargs={"normalize_embeddings": True},
)

​
API 参考

sentence = "IPEX-LLM is a PyTorch library for running LLM on Intel CPU and GPU (e.g., local PC with iGPU, discrete GPU such as Arc, Flex and Max) with very low latency."
query = "What is IPEX-LLM?"

text_embeddings = embedding_model.embed_documents([sentence, query])
print(f"text_embeddings[0][:10]: {text_embeddings[0][:10]}")
print(f"text_embeddings[1][:10]: {text_embeddings[1][:10]}")

query_embedding = embedding_model.embed_query(query)
print(f"query_embedding[:10]: {query_embedding[:10]}")
在 GitHub 上编辑此页面源文件。
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.