跳到主要内容
FriendliAI 通过可扩展、高效的部署选项，专为高需求 AI 工作负载量身定制，提升 AI 应用性能并优化成本节约。

​
安装与设置

安装 friendli-client Python 包。 
pip install -U langchain_community friendli-client
登录 Friendli Suite 创建个人访问令牌，并将其设置为 FRIENDLI_TOKEN 环境变量。

​
聊天模型

请参阅使用示例。 
from langchain_community.chat_models.friendli import ChatFriendli

chat = ChatFriendli(model='meta-llama-3.1-8b-instruct')

for m in chat.stream("Tell me fun things to do in NYC"):
    print(m.content, end="", flush=True)

​
LLMs

请参阅使用示例。 
from langchain_community.llms.friendli import Friendli

llm = Friendli(model='meta-llama-3.1-8b-instruct')

print(llm.invoke("def bubble_sort(): "))
在 GitHub 上编辑此页面源文件。
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.