每天都要阅览很多AI相关新闻,是不是感到信息量爆破,有效信息少,无从看起?

这么多新产品和新东西,究竟哪些是真正是有价值的,哪些仅仅浮躁的热门?

想参加AI产品和东西的开发,但苦于没有创意,从哪里能够获得很多的创意和思路?

我会把自己阅览和运用过的AI相关新闻、产品、东西、模型等,整理在这里,协助我们去除信息噪音,简化阅览,更高效的了解AI前沿开展。首要环绕:

  • AI终端产品
  • AI开发者东西
  • AI相关新模型
  • AI大厂方向
  • AI业界趋势

作为本期刊的第一期,我们首要环绕2023年4月发布的相关产品和技术东西。

终端产品

AI我国法令帮手

github.com/lvwzhen/law…

该项目把 我国法令文书 作为常识库,将常识库embedding后存入向量数据库,然后向用户供给了完整界面,用户能够用自然言语发问,后台运用openAI的API,结合常识库的现有常识进行自然言语的答复。

【AI最前线#1】GPT自动理解视频、法律顾问、大模型安全围栏

首要技术:

  • 预处理常识库
  • 在PostgreSQL中运用 pgvector 存储嵌入向量。
  • 履行向量类似性查找,查找与问题相关的内容。
  • 将内容注入到OpenAI GPT-3文本主动补全中,并将响应流式传输到客户端。

HuggingChat

huggingface.co/chat/

Hugging Face发布了一个ChatGPT开源替代品名为HuggingChat。Hugging Face我们都懂的,能够理解成AI界的Github,很多注明的开源模型都在上面首发。

【AI最前线#1】GPT自动理解视频、法律顾问、大模型安全围栏

底层模型目前有两种挑选:

【AI最前线#1】GPT自动理解视频、法律顾问、大模型安全围栏

金融/投资 GPT帮手

finchat.io/

FinChat.io是由ChatGPT供给技术支撑的东西。它运用人工智能生成关于公共公司和投资者的问题的答案。为了供给准确的答案,FinChat会供给推理、来历和数据等支撑。实测作用有点酷炫。

【AI最前线#1】GPT自动理解视频、法律顾问、大模型安全围栏

微软AI规划器

designer.microsoft.com/

输入文字,经过AI生成一个合适的规划图,且支撑动态图。例如下面的文字描述”为我的油管频道‘Science for Littles’规划一个动态的广告”生成了右方的一些规划图,生成速度非常快,还可调理图片尺寸。

【AI最前线#1】GPT自动理解视频、法律顾问、大模型安全围栏

挑选了右方较为满足的规划后,能够继续在在线编辑器中修正你的规划,支撑自在导出各种格局与下载。

【AI最前线#1】GPT自动理解视频、法律顾问、大模型安全围栏

AI Shell

github.com/builderio/a…

将chatGPT整合到你的shell中,用ai命令进行操作

【AI最前线#1】GPT自动理解视频、法律顾问、大模型安全围栏

VLog

github.com/showlab/VLo…

V是大写,他能够将一段长视频转换成包含视觉和音频信息的文档。经过将此文档发送到ChatGPT,我们能够针对这个视频的内容进行自然言语谈天!当然,需求耗费你自己的openAI API额度。

【AI最前线#1】GPT自动理解视频、法律顾问、大模型安全围栏

开发者东西

音频才能东西集:AudioGPT

huggingface.co/spaces/AIGC…

这个东西集里包含了很多音频相关的处理才能东西,大部分东西运用时需求填写你自己的GPT API key,耗费你的额度,我试了一下,文字转语音,一句5个词的句子,耗费了我4000个token!(暴风哭泣!)

演讲:

  • 文字转语音
  • 风格迁移
  • 语音辨认
  • 语音增强
  • 语音别离
  • 语音翻译
  • 单声道到双声道
  • 文字转唱

歌唱:

  • 文字转歌唱

音频处理:

  • 文本到音频
  • 音频修复
  • 图像到音频
  • 声音检测
  • 目标声音检测
  • 声音提取

【AI最前线#1】GPT自动理解视频、法律顾问、大模型安全围栏

大模型安全围栏:NeMo-Guardrails

github.com/NVIDIA/NeMo…

NeMo Guardrails 是一个开源东西包,能够轻松地将可编程护栏添加到根据 LLM 的对话体系中。Guardrails(或简称“rails”)是控制大型言语模型输出的特定方法,例如不谈论政治、以特定方法响应特定用户请求、遵从预界说的对话路径、运用特定言语风格、提取结构化数据等。

首要优势:

  • 构建值得信任、安全可靠的 LLM 对话体系:运用 NeMo Guardrails 的核心价值是能够编写 rails 来辅导对话。开发人员能够挑选界说他们的 LLM 驱动的机器人在某些主题上的行为,并让他们的创造力不受其他人的影响!
  • 经过操作连接模型、链、服务等: LLM 不需求解决所有应战。NeMo Guardrails 供给了将您的代码库或服务无缝安全地连接到谈天机器人的才能!

chatGLM结合本地常识库:langchain-chatGLM

github.com/imClumsyPan…

一种运用 ChatGLM-6B + langchain 实现的根据本地常识的 ChatGLM 使用。支撑将txt、markdown等格局的文本文件上传后,进行发问。会给出自然言语的答复,并且在最终会标示出引证本地文本的出处。

【AI最前线#1】GPT自动理解视频、法律顾问、大模型安全围栏

本项目实现原理如下图所示,过程包括加载文件 -> 读取文本 -> 文本切割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最类似的top k个 -> 匹配出的文本作为上下文和问题一同添加到prompt中 -> 提交给LLM生成答复。

支撑的LLM模型:

  • THUDM/chatglm-6b
  • THUDM/chatglm-6b-int8
  • THUDM/chatglm-6b-int4
  • THUDM/chatglm-6b-int4-qe
  • ClueAI/ChatYuan-large-v2

支撑的Embedding 模型:

  • nghuyong/ernie-3.0-nano-zh
  • nghuyong/ernie-3.0-base-zh
  • shibing624/text2vec-base-chinese
  • GanymedeNil/text2vec-large-chinese

【AI最前线#1】GPT自动理解视频、法律顾问、大模型安全围栏

在任意消费级终端布置大模型:MLC LLM

mlc.ai/mlc-llm/

MLC LLM是一种通用解决方案,能够使任何言语模型在各种硬件后端和本地使用程序上本地化布置,一起为所有人供给一个高效的结构,以进一步优化模型性能,以适应其自身用例。

我们的使命是使每个人都能够在其设备上本地开发、优化和布置AI模型。

这个方向的探究如果呈现突破,将大大削减模型布置和运用的门槛,让全世界的低算力设备也能参加AI算力阵营。

【AI最前线#1】GPT自动理解视频、法律顾问、大模型安全围栏

【AI最前线#1】GPT自动理解视频、法律顾问、大模型安全围栏

仿openAI风格API调用chatGLM:chatglm-openai-api

github.com/ninehills/c…

让开发者能够用调用openAI API的方法调用其他开源模型,节省很多开发工作。

参考

Github Trending

github.com/trending

Meta360立异学院-AGI前夜

docs.meta360.vip