DevOps-ChatBot：DevOps开源端到端智能AI助手

1.项目布景

随着ChatGPT等通用大模型以及各类笔直范畴大模型的呈现，各个范畴的产品交互办法、用户信息获取办法都在逐步产生改动。但通用大模型本身存在的生成内容不可靠、信息内容不及时、范畴使命不完善的问题始终存在，面向DevOps这个关于现实的精确性、信息的及时性、问题的杂乱性、数据的安全性要求都比较高的范畴，大模型该怎么赋能？为此，咱们建议并开源DevOps-ChatBot端到端AI智能帮手，专为软件开发的全生命周期而规划：经过DevOps垂类常识库 + 常识图谱增强 + SandBox履行环境等技能来保证生成内容的精确性、及时性并让用户交互修正代码编译履行，确保答案的可靠性；经过静态剖析技能 + RAG检索增强生成等技能来让大模型感知上下文，完结代码库等级的组件了解、库房项目级的代码文件修正、生成，不单单只是函数片段级的代码补齐；经过完善链路级的Multi-Agent调度规划、协同常识库、代码库、东西库、沙盒环境，来让大模型能够完结DevOps范畴杂乱多过程的使命；而且经过DevOps范畴专属的范畴模型和评测数据构建支撑私有化布置来保证数据的安全性，以及特定使命的高可用性。

咱们希望经过本项目逐步改动原有的开发运维习惯，从各处资料查询、独立涣散渠道操作的传统开发运维办法改变到大模型问答的智能化开发运维办法，让“天下没有难做的Coder”。

GitHub项目地址：github.com/codefuse-ai…

Arxiv论文地址：ICSE投稿中，敬请期待，稍后放出

2.中心功用

项目全体架构简图如下：

• ️Multi Source Web Crawl：网络爬虫，供给对指定url爬取相关信息的才能
• ️Data Process：数据处理模块，供给文档加载器、数据清洗、文本切分的功用，处理和整合多源格局的数据文档
• ️Text Embedding Index：文档剖析中心，经过文档上传即可完结文档检索
• Vector Database & Graph Database：向量数据库和图数据库，用于数据办理
• Multi-Agent Schedule Core：多智能体调度中心，经过简易装备即可构建所需交互智能体
• Prompt Control：Prompt操控与办理模块，界说Agent的上下文办理
• SandBox：沙盒模块，供给代码编译履行和动作履行的环境
• LLM：智能体大脑，可支撑多种开源模型和LLM接口规划
• ️API Management：API办理组件，快速兼容相关开源组件和运维渠道

在上述功用模块的拼装协同下，本项目中心差异技能、功用点：

• 智能调度中心：体系链路完善的调度中心、多办法一键装备，详见2.1章节
• 代码整库剖析：库房级代码了解、项目文件级代码编写生成，详见2.2章节
• 文档剖析增强：文档常识库结合常识图谱的检索、推理增强，详见2.3章节
• 垂类专属常识：DevOps专属常识库、垂类常识库自助一键构建，详见2.4章节
• 垂类模型兼容：DevOps范畴小模型、DevOps周边渠道兼容，详见2.5章节

2.1.Multi-Agent Schedule Core/智能调度中心

在处理杂乱问题时，咱们能够经过ReAct过程来挑选、调用和履行东西反应，一起完结多轮东西运用和多过程履行。但关于更杂乱的场景，例如杂乱代码的开发，单一LLM Agent难以胜任。因而，社区开端发展出多Agent的组合玩法，比方专心于开发范畴的metaGPT、GPT-Engineer、chatDev等项目，以及专心于主动化构建Agent和Agent对话的AutoGen项目。

经过对这些结构的深化剖析，发现大多数Agent结构的全体耦合度较高，其易用性和可扩展性较差。在预设场景中完结特定场景，但想要进行场景扩展却困难重重。因而，咱们希望构建一个可扩展、易于运用的Multi-Agent结构，经过简易的装备即可辅佐完结日常办公、数据剖析、开发运维等各种通用使命。

*本项意图Mutli-Agent结构罗致兼容了多个结构的优异规划，比方metaGPT中的消息池（message pool）、autogen中的代理挑选器（agent selector）等。

1. Agent Communication：Agent之间有用的信息沟通关于上下文办理以及问答功率进步至关重要。

b.借鉴metaGPT的Message Pool结构，答应Agent对Message Pool进行推送和订阅，使链路更加灵敏。

2. Standard Operation Process（SOP） ：对LLM的生成作用进行标准化解析和处理。

a. 界说Agent的 Input 和 Output 规划，能够拼装和解析相关Action和Status，保证结构运行的稳定性。

b. 界说多种SOP标识，如Tool、Planning、Coding、Answering、finished等，满足Agent的根本需求。

3. Plan and Executor：添加LLM的Tool运用、Agent调度、代码的生成。设置了几种根本链路，例如：

a. 单轮问答，也能够扩展到CoT、ToT、GoT等办法。

b. ReAct，根底的响应决议计划过程，模型设置SOP 状态以终止循环。

c. TaskPlaning – Executor，使命完结即可完毕。

4. Long-short term memory Management：为了模拟人类团队协作过程，添加一个专门担任内容总结（类似于会议助理）的Agent，对长时刻回忆进行总结并提更有用的信息进行传递。
5. Human-agent interaction：面临杂乱场景，由人类介入Agent交互过程并供给反应，使LLM能精确了解人类的意图，然后更有用地完结使命。
6. Prompt Control and Management：担任协调和办理各Agent间的Prompt交互，进步系统的杂乱性操控和交互功率

a. Prompt输入选用Markdown结构化规划，分为角色描绘、用户问题与使命、相关检索信息、输出格局、历史记录与回忆办理等，进步Prompt的透明度和易操作性，简化用户交互。

b.输出相同运用Markdown结构化规划，以完结明晰规范的作用展现，便利用户阅览和后续解析，支撑系统扩展和与其他渠道的集成。

c. 引入标准化的代码块阻隔机制（运用三个反引号”“`”），优化Code和Json数据输出与解析，增强用户的可读性和交互体验。

全体来说，这6个中心要素一起组成Multi Agent结构，确保Agent之间的协作更加严密和高效，一起也能够适应更杂乱的使命需求和更多样的交互场景。经过组合多个Agent链路来完结一个完好且杂乱的项目上线场景（Dev Phase），如Demand Chain（CEO）、Product Arguement Chain（CPO、CFO、CTO）、Engineer Group Chain（Selector、Developer1~N）、QA Engineer Chain（Developer、Tester）、Deploy Chain（Developer、Deploer）。

2.2.Code Repo RAG/代码整库剖析

现阶段LLM面向开发的主要运用在代码的生成、修正以及组件的了解使命上，经过各类网络文档类&代码类数据（核算机书本、核算机论坛等）的收集、然后针对模型进行加训以及特定代码类使命微调来完结，以这条思路构建了各种开源/闭源的通用LLM、专有LLM。但这类大模型面临的一个应战便是练习数据往往只包含某个时刻节点之前的公开代码数据，针对频繁更新的开源/私有库房存在数据信息的不及时以及LLM天然存在的错觉，一起LLM往往无法感知代码库房的上下文以及天然的代码库依靠结构，导致生成的作用往往不符合用户的要求。

咱们首要经过关于周边开发工程师的调研，概括开发中遇到的主要问题如下图所示，能够看到在开发的过程中，除开代码逻辑的开发（这往往占用的耗时并不长），现有代码库、依靠包的了解，代码检索、元信息查询等占用的时刻或许更长（这里边没有罗列需求的了解以及系分文档等的编写，这块也会作为接下来演进的重点）：

针对如上问题，咱们希望经过结合程序剖析获取代码的逻辑结构并存入常识图谱，在此根底上经过RAG迭代查询增强获取必要的上下文信息，并结合multi-agent分角色扮演，来完结大模型和代码库的有机结合，做到让大模型真实成为面向实践事务运用的万能帮手，而不仅仅是刷各种benchmark的东西。全体结构如下：

• 代码结构剖析

• • 代码剖析中，咱们会针对代码原文进行清洗和去重（比方单测文件），这是为了保留住有价值的代码部分。然后咱们会经过静态剖析的手法，从代码库中发掘到代码之间的依靠图，一起咱们经过还会借助于大模型的了解才能来针对代码进行解读，在生成的结构化信息图谱中作为重要的弥补。这些手法的意图都是要从代码库中将尽或许多的代码信息发掘出来以供后续检索模块来经过不同的办法来检索信息。

• 代码检索生成

• • 在代码检索模块中，咱们当前供给了三种不同的检索办法，分别会针对用户问题的侧重点不同来主动挑选最适合的检索办法。Cypher检索生成重要面向用户关于代码库结构的了解（比方元信息查询等），图谱检索主要面向用户关于代码类&办法的检索定位以及代码的主动生成。因为程序剖析全体的拓展性会比较差，面向新的编程言语、面向私有化的中间件等都会触及到定制需求的开发，一起从人的视点出发，在开发的过程中并不会用到程序剖析的信息，咱们一起也在探究经过multiagent的办法，迭代查找代码库房获取上下文信息，一起有另其他agent来担任阶段性提炼总结信息以及作用生成等其他使命，现在还在试验中，敬请期待。

2.3.Doc Repo RAG/文档剖析增强

大模型具有强壮的生成才能，但在触及到专业范畴常识问答（比方医疗、通讯等），以及私有常识问答（私域数据），简略呈现错觉导致生成的答案不可信。最直观的处理计划是经过将特定/私有范畴的数据加训来增强模型相关的常识，但练习大模型开支巨大，且生成作用不稳定&错觉依然比较严重，第二条路是结合查找（比方Bing的做法），但面向海量的私域文档以及范畴的限定，单独构建查找引擎依然不是一条靠谱的路径。咱们最终挑选常识库外挂的手法，经过检索增强生成的办法，将与问题相关的数据从数据库中检索出来，作为额外常识输入到大模型中，保证作用的可靠性&实时性，一起防止练习开支。

假如更精准的查找检索是本模块中心要处理的问题？为此，咱们全体的架构图如下：

整个 DocSearch 含有三种检索链路

1. 传统的文档向量数据库查询

文档向量数据库是当前最干流的常识库构建办法。其特点在于每一个原子单位是自然言语文档。在构建常识库时，需结合Text Embedding 模型对文档进行Embedding并在向量数据库中存储。本项目选用私有化Embedding模型，支撑其它私有布置和隐私相关场景，并供给其它专有模型接入和挑选。在此之后，则需依据不同情况，挑选不同的检索策略将常识库中相应的常识抽取出来，后续本项目将结合学术界上下文学习（in-context learning）的最新作用，供给多种数据库检索办法，包含Similarity、Random 、Auto-CoT、Complex-CoT、Meta-CoT等。

2. 常识图谱查询

常识图谱（Knowledge Graph）主要是用于描绘实际国际中的实体、概念及事情间的客观联系，拿手处理事物之间的多种杂乱联系网络，在查找/问答/大数据剖析中具有重要作用。本项目选用Nebula图数据库对常识图谱进行存储和办理，支撑导入现有常识图谱进行进行常识检索。当只要文本数据时，也支撑经过大模型的办法主动抽取实体和联系来生成常识图谱，然后发掘出数据中多种杂乱联系。一起咱们在实践试验中观测到，在不少场景中，相比纯文本的查找生成，经过图谱能够获得更精准的问答作用。

3. 常识图谱推理 + 向量数据查询

当用户一起存在文档数据库和常识图谱数据时，本项目也供给两者的交融查找。详细的，对每篇文档提取tag，然后依据用户的发问，常识图谱上查找相关的tag一起依据其范畴得到扩充到tag调集。最终，依据扩充版本的tag调集以及文档向量数据库中的类似度距离，检索出与原问题相关的文档。这种结合能有用的处理许多“行话”或许只要特定专业范畴的人才熟悉，而大模型因为没有这个常识布景而检索出过错的作用，后续咱们也会为devOps范畴来构建专门的“行话图谱”

用户能够挑选自己想要选用的链路，也能够三个都进行挑选来获取三种不同的作用。

2.4.DataHub Auto-Construction&DevOps DataHub/常识库构建&DevOps常识库

如2.3章节的介绍，经过常识库外挂的手法能够很好的处理专有/私域常识问答的问题，构建智能帮手/智能客服等事务运用。一起，咱们介绍了增强检索生成的计划。接下来的中心问题是怎么更好的构建常识库。

直接整理海量数据源并构建常识库常常常会面临以下问题：

1. 数据的获取和整合：不同的数据源之间存在格局不一致、质量参差不齐的问题
2. 数据清洗：在数据量巨大的情况下，怎么主动化地辨认和剔除过错、重复或无关紧要的数据
3. 笔直范畴常识的整合：在专业或技能性强的范畴，常识库构建需要依靠于专业常识，然后使系统能够参照专业常识来主动化地了解杂乱的术语和概念。
4. 常识库的更新和保护：常识库需要定时更新，保持信息的精确性和时效

依据此，咱们的全体架构如下：1）经过Crawler模块实数据的收集；2）经过Loader模块完结多源异构数据的导入；3）Filter Func模块完结数据的过滤清洗；4）TextAnalyzer模块完结对数据的智能化剖析；5）Pipeline模块串联整个过程。全体的架构图如下所示：

1. Crawler/爬虫：定时网络文档爬取，保证数据更新的及时性，因为DevOps数据的广泛分布，也希望大家能继续贡献网页来历
2. Loader/文档加载器：处理和整合来自不同渠道的爬取数据，并支撑用户私有文档库、代码库、常识图谱等的导入，灵敏应对多样化的数据需求
3. Filter Func/清洗过滤：经过对数据中的文本内容、代码段和特别字符进行细心的清洗和去重处理，确保后续剖析的精确性和高效性。
4. TextAnalyzer/文本剖析器：进行深化的文本分类、信息提取、文档切开以及摘要和总结，这一模块是智能化处理的体现，它将杂乱的文本数据转化为结构化（包含常识图谱）、易于了解的信息。
5. Pipeline/管道：将上述模块严密串联，形成连接的处理流。优化数据处理的过程，完结了数据输入到清洗完毕输出的端到端主动化。

咱们接下来会注重于DevOps范畴数据的收集和构建，一起这条标准化的数据获取&清洗才能&智能化处理也希望为更多的私有常识库构建供给帮助。

2.5.DevOps Model&Platform Compatible/DevOps渠道&模型兼容

随着大型言语模型（LLM）的呈现，咱们不仅见证了问题处理办法的变革，比方智能客服系统从依靠小规划模型微调和固定规矩转向更为灵敏的智能体交互，而且产品交互办法也正在阅历重大的改变。咱们希望和周边开源的DevOps渠道打通兼容，经过API的注册、办理和履行能够完结对话式交互，驱动完结各种特定使命（数据查询、容器操作等）。

一起咱们也该意识到大模型现在并非适用于所有范畴。在面临特定的范畴使命，尤其是数值核算类使命（如反常检测/智能告警、组合优化/容器调度等），小型模型依然占有共同的优势。它们在作用、核算功率和资源耗费方面常常领先于大型模型。因而，咱们也经过将这些专门的模型以API的办法进行注册、办理和履行，来完结它们的集成和运用。为了能够让本项目快速兼容相关开源组件和运维渠道，咱们经过python注册模板可快速接入各种Restful API的注册和履行，也能够转换为Swagger结构。

经过承继BaseToolModel类，可编写相关的tool_name、tool_description、ToolInputArgs、ToolOutputArgs、run等相关特点和办法即可完结东西的快速注册。

1. 经过FastChat启动私有模型的推理服务或者其它Restful风格的API，如Qwen2.0、文心一言等，也能够注册成可用东西，给到LLM进行调度运用
2. 也可注册蚂蚁集团相关开源项目和运维渠道的API，经过Multi-Agent结构与LLM简略对话即可完结相关运维操作和API才能调用，帮你处理相关开发、运维问题！

现在已封装东西清单如下：k-sgima反常检测、代码检索、文档检索、duckduckgo查找、百度ocr辨认、股票信息查询、天气查询、时区查询。

2.6.总结&未来展望

ChatGPT面向大众敞开将近一年的时刻里，出现了许多优异的开源与闭源模型及结构。从今年4月份开端，咱们团队便深化探究DevOps范畴大模型和事务落地，这个过程中咱们阅历了不少应战。从开始收集内部文档、代码以及网络开源数据进行模型的加强练习，到现阶段模型与结构的严密结合。咱们认为大模型在DevOps范畴最可靠的落地办法或者说在真实意义上替代人工完结使命，还需结合面向常识库&代码库的RAG（增强现实问答和逻辑推理的才能），处理特定范畴使命的专有才能（范畴使命微调增强）以及逻辑推理&语义了解的通用才能。这正是咱们构建ChatBot的初衷，咱们经过完善链路级的Multi-Agent调度规划，协同常识库、代码库、东西库、沙盒环境，来让大模型能够在DevOps范畴处理杂乱的多过程使命。

现在咱们开源的DevOps结构还处于初期，还有许多不完善的当地，接下来咱们会在如下方面做中心演进。

1）Multi-Agent Schedule Core/多智能体调度中心

• 经过Agent-Selector 完结Agent的智能调度
• 完结代码主动编写、代码测试等功用
• 支撑用户私人定制的个性化运用场景

2） Agent&Prompt工程

• Agent Prompt 解耦，后续只需编写Agent的Task Prompt，即可完结全体功用工作
• 将常识库信息、代码库信息、查找信息、东西信息、以及各种Agent、Chain、Phase的历史交互信息进行归纳办理并构造prompt
• 供给Agent Manager，在UI上可完结Agent、Chain、Phase的界说、注册、串联
• 经过LLM主动构建和编排Phase、Chain、Agent的交互逻辑

3） 常识库构建

• 供给数据获取、清洗、结构化办理等多种才能
• 构建面向不同笔直范畴的常识库数据

4） 常识库检索&常识图谱增强

• 依据用户供给的文档，完结文本类常识库构建功用，并供给 List Index、Vector Store Index等多种文本常识库索引办法
• 对用户查询供给多种修正办法，包含且不限于意图辨认/意图弥补/意图修正等
• 结合学术界常识图谱的最新作用，供给多种常识图谱检索办法，包含TOG（think on graph）等。

5） 代码整库剖析

• 细化代码解析提取功用，丰厚代码图谱 schema

• 常识图谱数据库选型+完结

• 文档数据库选型+完结

• 为了减少本项目非中心工作的开发，防止重复造轮子，对Github上与LLM相关的抢手项目进行调研剖析后，经过复用以下项目（不局限于下图所展现的内容）来构建本项意图其它非中心组件。

• LLM结构类

• • langchian：LangChain是一个用于开发由言语模型驱动的运用程序结构。作为本项意图组件串联模块，担任Prompt、LLM、Vector Database、Knowledge Graph Database之间的交互调度。

• LLM模型类：可接入Qwen、LLaMa、Opeani，作为Agent的大脑，供给文本问答、行为决议计划的才能

• • Qwen：阿里云研发的通义千问大模型系列的70亿参数规划的模型
  • LLaMa：是Meta发布的大型言语模型，旨在供给一种高性能、开源的文本生成东西。
  • Openai：供给chatGPT模型服务

• 向量数据库

• • Faiss：faiss是一个Facebook AI团队开源的库，针对高维空间中的海量数据（稠密向量），供给了高效且可靠的类似性聚类和检索办法。本项目依据此库支撑常识库检索的功用

• LLM练习推理

• • FastChat：FastChat是一个智能易用的大型言语模型推理服务。本项目可依据FastChat为其它私有模型或触及隐私的场景供给专有模型挑选和布置支撑，本项目默许运用GPT-3.5-turbo

• 其他功用组件

• • SandBox：供给了一个交互验证环境（依据Jupyter NoteBook），帮助用户判别LLM生成代码的真实性，并支撑用户经过接口完结代码调整和内容交互。还可经过容器完结环境阻隔，保证代码履行安全。

3.功用介绍

3.1.功用页面

文本常识库办理

• 文本切换、文本向量化服务、常识库的向量检索服务
• 供给多个常识库的创建、办理、下载等功用，支撑PDF、TXT、JSON、JSONL、MD等文件的上传
• 还支撑爬虫进行实时url内容爬取功用，可主动对爬取数据进行主动清洗和常识库加载

常识图谱办理

• 支撑常识图谱文件上传和办理

代码常识库办理

• 支撑经过 ZIP 上传代码文件

代码常识库展现页面

• 展现这个代码常识库包含的代码文件数和节点数
• 支撑删去常识库功用

依据Agent问答

咱们经过上述页面去构建文本常识库和代码常识库，在本项目中可选用Multi-Agent结构来构建多种多样的Agent链路，然后完结各种杂乱场景的履行。

现在咱们提早封装了一些Agent场景，诸如chatPhase、docChatPhase、searchChatPhase、codeChatPhase、toolReactPhase、codeReachPhase，可支撑常识库问答、代码问答、东西调用、代码履行等功用。

一起每一个场景咱们支撑是否进行常识库检索、代码库检索、信息查找等装备过程，一起可装备相关的东西以供东西进行调度运用。

3.2.更多玩法

咱们在构建DevOps-ChatBot的过程中发现这套体系化的才能，除了运用在DevOps范畴，任何范畴形似也是适用的！大模型处理问题无外乎经过本身常识、常识库增强现实问答、API处理特定范畴使命、代码编程处理核算缺乏，一起在Multi-Agent的调度下能够延伸出许多有意思的玩法。以下玩法能够经过本项意图模块拼装构建完结！

3.2.1.代码解释器（Code Interpreter）

场景描绘：上传一个数据文件，主动进行数据剖析

演示demo

3.2.2.东西运用

场景描绘：查询某个服务器的根本时序，传入到监控东西中，并进行剖析

演示demo

3.2.3.智能股票剖析（东西+代码解释器）

场景描绘：用户希望经过简略的自然言语查询来获取特定股票的详细信息，包含历史股价图表、市场表现和或许的市场走向。例如，用户想要了解贵州茅台的股票历史及未来走势。

演示demo

3.2.4.依据上传代码生成测例

场景描绘： 针对代码库中的某个办法生成测试用例。导入代码库、挑选检索办法为依据标签检索、询问问题

演示demo

• 代码内容

• 不加代码常识库

• 加代码常识库

3.2.5.玩家拯救者（常识库问答）

场景描绘： 答复与详细的网络游戏相关的问题。包含英豪信息、登场时刻、所属城邦等。

演示demo

英豪联盟的英豪联系常识图谱

常识图谱问答演示

4.关于DevOpsGPT

DevOpsGPT是咱们建议的一个针对DevOps范畴大模型相关的开源项目，主要分为三个模块。本文介绍的DevOps-ChatBot是其间的问答机器人模块，其目标是依据LLM来完结DevOps 范畴LLM行业标准评测。此外，还有DevOps-Model、DevOps-ChatBot两个模块，分别为DevOps范畴专属大模型和DevOps范畴智能帮手。咱们的目标是在DevOps范畴，包含开发、测试、运维、监控等场景，真实地结合大模型来进步功率、成本节省。咱们希望相关从业者一起贡献自己的才智，来让“天下没有难做的coder”，咱们也会定时分享关于 LLM4DevOps 范畴的经验&尝试。

欢迎运用&评论&共建
（1）ChatBot – 开箱即用的 DevOps 智能帮手：github.com/codefuse-ai…
（2）Eval – DevOps 范畴 LLM 行业标准评测：github.com/codefuse-ai…
（3）Model – DevOps 范畴专属大模型：github.com/codefuse-ai… （4）CodeFuse官网：codefuse.alipay.com