运用LangChain开发LLM应用时，需要机器进行GLM部署，好多同学第一步就被劝退了，那么如何绕过这个过程先学习LLM模型的应用，对Langchain进行快速上手？本片解说3个把LangChain跑起来的办法，如有过错欢迎纠正。

Langchain官方文档地址： python.langchain.com/

根底功能

LLM 调用

  • 支撑多种模型接口，比方 OpenAI、HuggingFace、AzureOpenAI …
  • Fake LLM，用于测验
  • 缓存的支撑，比方 in-mem（内存）、SQLite、Redis、SQL
  • 用量记载
  • 支撑流形式（便是一个字一个字的回来，相似打字效果）

Prompt办理，支撑各种自定义模板

拥有大量的文档加载器，比方 Email、Markdown、PDF、Youtube …

对索引的支撑

  • 文档分割器
  • 向量化
  • 对接向量存储与搜索，比方 Chroma、Pinecone、Qdrand

Chains

  • LLMChain
  • 各种东西Chain
  • LangChainHub

具体地址可参阅：
www.langchain.cn/t/topic/35

测验Langchain工程的3个办法：

1 运用Langchian供给的FakeListLLM

为了节省时刻,直接上代码

把LangChain跑起来的3个方法 | 京东云技术团队

import os
from decouple import config
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from langchain.agents import load_tools

这儿mock下ChatGPT,运用mockLLm

#from langchain.llms import OpenAI
from langchain.llms.fake import FakeListLLM
os.environ["OPENAI_API_KEY"] = config('OPENAI_API_KEY')

REPL 是 “Read–Eval–Print Loop”（读取-求值-打印-循环）的缩写，它是一种简单的、交互式的编程环境。

在 REPL 环境中，用户可以输入一条或多条编程句子，体系会立即执行这些句子并输出成果。这种方式十分合适进行快速的代码试验和调试。

tools = load_tools(["python_repl"])
responses=[
    "Action: Python REPL\nAction Input: chatGpt原理",
    "Final Answer: mock答案"
]
llm = FakeListLLM(responses=responses)
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("chatGpt原理2")

2 运用Langchian供给的HumanInputLLM，访问维基百科查询

把LangChain跑起来的3个方法 | 京东云技术团队

from langchain.llms.human import HumanInputLLM
from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from wikipedia import set_lang

运用维基百科东西

tools = load_tools(["wikipedia"])

这儿必需要设置为中文url前缀，不然访问不了

set_lang("zh")

初始化LLM

llm = HumanInputLLM(prompt_func=lambda prompt: print(f"\n===PROMPT====\n{prompt}\n=====END OF PROMPT======"))

初始化agent

agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("喜羊羊")

3运用huggingface

huggingface.co/docs

1.注册账号

2.创建Access Tokens

把LangChain跑起来的3个方法 | 京东云技术团队

Demo： 运用模型对文档进行摘要

把LangChain跑起来的3个方法 | 京东云技术团队

from langchain.document_loaders import UnstructuredFileLoader
from langchain.chains.summarize import load_summarize_chain
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain import HuggingFaceHub
import os
from decouple import config
from langchain.agents import load_tools

这儿mock下ChatGPT,运用HUGGINGFACEHUB

os.environ["HUGGINGFACEHUB_API_TOKEN"] = config('HUGGINGFACEHUB_API_TOKEN')

导入文本

loader = UnstructuredFileLoader("docment_store\helloLangChain.txt")

将文本转成 Document 目标

document = loader.load()
print(f'documents:{len(document)}')

初始化文本分割器

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size = 500,
    chunk_overlap = 0
)

切分文本

split_documents = text_splitter.split_documents(document)
print(f'documents:{len(split_documents)}')

加载 LLM 模型

overal_temperature = 0.1
flan_t5xxl = HuggingFaceHub(repo_id="google/flan-t5-xxl", 
                         model_kwargs={"temperature":overal_temperature, 
                                       "max_new_tokens":200}
                         ) 
llm = flan_t5xxl
tools = load_tools(["llm-math"], llm=llm)

创建总结链

chain = load_summarize_chain(llm, chain_type="refine", verbose=True)

执行总结链

chain.run(split_documents)

作者：京东科技 杨建

来历：京东云开发者社区