我正在参加「启航方案」

Web LLM 将大型言语模型和根据 LLM 的聊天机器人引入 Web 浏览器。让一切都在浏览器内运行而无需服务器支撑（运用 WebGPU 加快）。

这无疑产生了许多风趣的时机，这样做可认为每个人构建 AI 助手，还能够在享用 GPU 加快的同时实现隐私维护。项目相关信息如下：

  • 开源地址：github.com/mlc-ai/web-…
  • 支撑模型：lmsys/vicuna-7b-delta-v0（微调 LLaMA，号称能到达 GPT-4 的 90%性能）

这个项目 04-14 才开源，很多当地还没有很完善，如文档或许运行示例等，但是在浏览器中运行实在是吸引人，正好手头有一台 M1 的 MacOS，所以赶忙来体会一波。

在线体会

官网直接给了一个 Apple 芯片的 Mac 电脑本地运用的比如，步骤简略，如下：

  • 下载 Chrome Canary，意图是为了体会最新版的 WebGPU 功能（也能够试用最新的 Chrome 113）
  • 安装好之后，命令行发动 – 记住发动前设置好署理，便利下载模型参数 – /Applications/Google\ Chrome\ Canary.app/Contents/MacOS/Google\ Chrome\ Canary --enable-dawn-features=disable_robustness
  • 开端体会！

Web LLM让你在浏览器中体验基于 LLM 的聊天机器人

等候下载完毕，就能够直接运用了：

Web LLM让你在浏览器中体验基于 LLM 的聊天机器人

能够看到，明火执仗地胡乱介绍咱们的李白，测了下写代码还是能行的。

本地体会

这块官方也还没有说怎样本地发动运行，我是个人觉得因为是根据浏览器，所以本地运行应该就是发动一个网站。

测试也很便利，我就直接把相关源码 clone 下来，然后发动，发现果然可行，看进程如下：

git clone https://github.com/mlc-ai/web-llm

# switch branch
cd web-llm
git checkout -b gh-pages origin/gh-pages
cd docs

# start
docker run --restart always  --name docker-web-llm -p 8060:80 -d -v "`pwd`:/usr/share/nginx/html" nginx

发动浏览器：

/Applications/Google\ Chrome\ Canary.app/Contents/MacOS/Google\ Chrome\ Canary --enable-dawn-features=disable_robustness

在浏览器输入：http://127.0.0.1:8060/， 即可在你的本地体会 vicuna-7b 模型了，适当简略：

Web LLM让你在浏览器中体验基于 LLM 的聊天机器人

阐明

至此，线上线下体会 Web LLM 至此结束，有兴趣的欢迎来尝试交流。也感谢你阅读到这儿，假如此文对你有帮助，欢迎转发点赞。