欢迎来到我的LlamaIndex系列，如果您也和我相同，在搭建RAG运用时，了解到了LlamaIndex, 那就请一起来学习它的各个功能模块和demo实例。 LlamaIndex 一 简单文档查询 – (juejin.cn)

LlamIndex二 RAG运用开发 – (juejin.cn)

LlamaIndex三 装备 – (juejin.cn)

前语

  咱们经过各项装备，了解了LlamaIndex在构建知识库和根据知识库的推荐两个阶段，怎样和事务相结合。本文，咱们将开端深入了解LlamaIndex的各个模块。首先，LlamaIndex强大的Data Connector 数据衔接器上场。

  LlamaIndex擅长和各种类型或格局的数据打交道，并经过Document和Nodes的概念，embedding索引后，交给大模型处理，高精度完成AI知识库或AI助理运用开发。利用私有知识库，增强LLM的检索才能， 即RAG。

  现在， 让咱们来仔细研讨Data Connectors数据衔接器模块的细节。

Data Connectors

LlamaIndex 四 数据衔接器

  开端深入之前，咱们先来回顾下LlamaIndex构建知识库（Knowledge Base）阶段的架构图。 最左侧的Data Sources部分展现了RAG运用中，各种数据来历。RAG运用多是聊天机器人或查找的产品形式，进口简单，这就需要LlamaIndex具备整合或自然语言处理各种格局，或各种渠道数据的才能。图中列出了Databases 数据库，Documents 文档，APIs 运用接口。假如是大型企业或组织，这是要整多少数据库，横跨多长时间的文档，散落在多少事务中的API?

  LangChain作为LLm开发框架，将RAG这块交给LlamaIndex, 正因为它的专业。当咱们开端着手RAG运用时，数据加载是非常重要的一个环节，且LlamaIndex给咱们安排了那些科技和狠活…

数据衔接器接口

  为支持不同数据源和格局的数据加载，LlamaIndex准备了一堆数据接口类，让人好生欢迎

  • Simple Directory Reader
  • Psychic Reader
  • DeepLake Reader
  • Qdrant Reade
  • Discord Reader
  • MongoDB Reader
  • Chroma Reader
  • MyScale Reader
  • Faiss Reader
  • Obsidian Reader
  • Slack Reader
  • Web Page Reader
  • Pinecone Reader
  • Mbox Reader
  • MilvusReader
  • Notion Reader
  • Github Repo Reader
  • Google Docs Reader
  • Database Reader
  • Twitter Reader
  • Weaviate Reader

衔接demos

  • 衔接网页数据
from llama_index import download_loader #老版本能够直接import SimpleWebPageReader 现在得这么搞
SimpleWebPageReader = download_loader("SimpleWebPageReader")
loader = SimpleWebPageReader()
documents = loader.load_data(urls=['http://paulgraham.com/worked.html'])

  各位，请留心。最新版本的LlamaIndex 根据llamahub来保管，大家能够到Llama Hub来看最新文档。代码中download_loader的意思就是先从llamahub中加载SimpleWebPageReade衔接器。

LlamaIndex 四 数据衔接器

  从打印结果咱们能够看到，SimpleWebPageReader接口将网页数据以Document的格局保存。

  • 衔接Markdown格局文件
from pathlib import Path
from llama_index import download_loader
MarkdownReader = download_loader("MarkdownReader")
loader = MarkdownReader()
documents = loader.load_data(file=Path('./README.md'))

  运用了MarkdownReader读取了当时目录下的README.md文件

  • pdf 格局文件
from pathlib import Path
from llama_index import download_loader 
PDFReader = download_loader("PDFReader") 
loader = PDFReader() 
documents = loader.load_data(file=Path('./article.pdf'))
  • api
import requests
from llama_index import VectorStoreIndex, download_loader
headers = {
}
data = requests.get("https://api.github.com/users/shunwuyu/repos", headers=headers).json()
JsonDataReader = download_loader("JsonDataReader")
loader = JsonDataReader()
documents = loader.load_data(data)
index = VectorStoreIndex.from_documents(documents)
index.query("how many repos are there?")

  根据github的api获取了json数据并发问。

综合事例

  现在就让咱们根据Data Connectors的了解，去开发一个针对langchain文档的知识库RAG运用

  • 装置LlamaIndex
!pip install -q -U llama-index
  • 设置OPANAI_API_KEY
import os
os.environ['OPENAI_API_KEY'] = 'your valid openai api key'
  • 下载langchain文件并运用数据接口加载
!git clone https://github.com/sugarforever/wtf-langchain.git

  wft-langchain这个repo，是langchain的开源教程库，里面的文档都是RAG运用的语料来历

from llama_index import SimpleDirectoryReader
reader = SimpleDirectoryReader( input_dir="./wtf-langchain", required_exts=[".md"], recursive=True ) 
docs = reader.load_data() #加载数据到文档数组

  咱们运用SimpleDirectoryReader, 读取了刚刚克隆下来的wtf-langchain目录下的所有markdown格局的文件。

  • 对文档构建索引，生成知识库, 并初始化查询引擎
from llama_index import VectorStoreIndex
index = VectorStoreIndex.from_documents(docs) 
query_engine = index.as_query_engine() 
response = query_engine.query("什么是WTF LangChain？") 
print(response)

LlamaIndex 四 数据衔接器

从上图看，咱们拿到了准确的答案。

总结

  • 在开发RAG运用时，数据加载是非常重要的一个环节。 Data Connectors 是LlamaIndex的第一个核心模块。
  • 练习一些数据接口，开端干活。

参考资料