全球首个完全开源的指令跟随大模型；T5到GPT-4最全盘点

1. Dolly 2.0：世界上第一个彻底开源的指令跟随LLM

两周前，Databricks发布了类ChatGPT的大型言语模型 (LLM)Dolly，其练习成本不到 30 美元。今日，他们发布了 Dolly 2.0，这是业内第一个开源的指令跟随LLM，并依据高质量的人类生成的指令数据集（15000个prompt/response pairs）进行了微调。Dolly 2.0 根据EleutherAI pythia模型系列，是一个具有12B参数的言语模型。

他们正在彻底开源 Dolly 2.0，包括练习代码、数据集和模型权重，这些都可以商用。这意味着，任何组织都可以创立、具有和定制强大的 LLM，而且无需支付 API 拜访费用或与第三方同享数据。

链接：

1. huggingface.co/databricks；
2. www.databricks.com/blog/2023/0…

2. 大型言语模型总述全新出炉：从T5到GPT-4最全盘点

考虑到 LLMs 的快速技能进步，中国人民大学的二十几位研讨者经过背景常识、要害发现和主流技能等三方面回顾了 LLMs 的最新进展，尤其重视 LLMs 的预练习、自适应调优、运用和能力评估。此外他们还总结和开发 LLMs 的可用资源，评论了未来发展方向等问题。对于领域内研讨人员和工程师而言，这份总述是一份极端有用的学习资源。

链接：

mp.weixin.qq.com/s/7HRr55Md2…

3. OpenAI创始人：GPT-4的研讨起源和构建心法

GPT模型所取得的成就令人艳羡，不过这建立在OpenAI数年的技能探究和坚定信念上。作为深度参与了GPT模型从0到1出产过程（mp.weixin.qq.com/s/E1_30D9Jw… ，以及推动GPT研讨和工程落地的首要“暗地推手”，Brockman对此深有体会，“它并非试图画快速致富那样稍纵即逝，而是一直在缓慢积累价值，才有了指数级增加带来的巨大回报。”

链接：

mp.weixin.qq.com/s/hO1ZdqgOj…

4. ChatGPT作者John Schulman：咱们成功的秘密武器

新增的对话数据当然重要，不过，让ChatGPT更简略推断出用户的意图，发生突变的底子原因是已在InstructGPT运用的“人类反应的强化学习（RLHF）”技能，OpenAI联合创始人、研讨科学家John Schulman以为，RLHF才是ChatGPT的秘密武器（secret sauce）。本文中，咱们可以看到ChatGPT技能演进的脉络和不曾在论文中被描绘的细节，以及OpenAI团队的下一步研讨方向。

链接：

mp.weixin.qq.com/s/sDeBYMvAw…

5. 千亿参数开源大模型BLOOM背面的技能

近年来，言语模型越训越大已成为常态。我们通常会诟病这些大模型本身的信息未被公开以供研讨，但很少重视大模型练习技能这种背面的常识。本文旨在以 1760 亿参数的言语模型 BLOOM 为例，阐明练习此类模型背面的软硬件工程和技能要点，以促进我们对大模型练习技能的评论。

链接：

zhuanlan.zhihu.com/p/615839149

6. 分布式练习的十大常见过错和解决方案

大型言语模型 （LLM）时代，分布式练习势在必行，因为数据和模型权重很少能一起放到一张卡上。可是，ML 中的分布式练习非常复杂且简略犯错，其间隐藏着许多陷阱，可能会在模型练习过程中引发巨大问题。本文将介绍分布式模型练习中十个最常见的过错，并将针对每个过错提出解决方案。

链接：

neptune.ai/blog/distri…

6.5. AutoGPT太火了，无需人类插手自主完成任务

近日，AI 界貌似出现了一种新的趋势：自主人工智能。这不是空穴来风，最近一个名为 AutoGPT 的研讨开端走进大众视界。特斯拉前 AI 总监、刚刚回归 OpenAI 的 Andrej Karpathy 也为其大力宣扬，并在推特赞扬：「AutoGPT 是 prompt 工程的下一个前沿。」

链接：

mp.weixin.qq.com/s/bV1tPc7hN…

7. 了解大型言语模型（入门阅览清单）

因为Transformer对每个人的研讨作业发生了如此大的影响，作者罗列了一个阅览清单供机器学习研讨人员和从业者入门LLM。

链接：

sebastianraschka.com/blog/2023/l…?

8. 大模型汇总（10亿级参数规划以上）

大模型（大型言语模型，LLMs）是当下AI和NLP研讨与产业中最重要的方向之一。本文将对当下的主流大模型进行总结。参数规划在1B以上的模型视为大模型。

链接：

zhuanlan.zhihu.com/p/611403556

9. ML系统入门材料整理（tvm&mlir&llvm）

对于想入门mlsys或者想深化学习某种编译器的开发者来说，期望这个材料可以成为不错的起点。

链接：

zhuanlan.zhihu.com/p/618229430

10. 谈谈对OpenAI Triton的一些了解

Triton应该算是笔者看到的根据MLIR编译技能途径完成，功用和功用均可满足一部分实践需求且得到了出产检验，而且在主流AI加速器上解决了计算密布算子开发需求的第一个开源作业。

链接：

zhuanlan.zhihu.com/p/613244988

11. mperf：移动/嵌入式渠道算子功用调优利器

在移动/嵌入式渠道，为了最大程度发挥硬件算力，对算子极致功用的寻求变成必定，不同于桌面/服务器渠道，移动/嵌入式渠道在算子功用调优方面可选择的东西很少。mperf 是一个微架构层次的算子功用调优东西箱，首要面向移动/嵌入式渠道的 CPU/GPU 中心，目标是“为构建一个更接近闭环的算子调优反应回路”提供系列基础东西。

链接：

zhuanlan.zhihu.com/p/610346564

12. 小型Python编译器项目入门

合适对编译优化、高功用计算、GPU编程感兴趣，彻底零基础的同学也没问题，可是需求熟悉Python编程。

编译器和测验部分代码彻底用Python编写，算子的部分运用cupy的rawKernel功用将cuda代码编译成一个Python函数。目前已完成了第一个模块的代码部分，共分为5天，每一天的一切代码加起来不超过100行，简略易懂。

链接：

zhuanlan.zhihu.com/p/603352525

13. CUDA编程：常用技巧/办法

不管你是在学习CUDA，还是在优化算子，把握一些CUDA编程技巧，可以提高你的作业效率，乃至找到更优解。本文首要是介绍一些常用的技巧/办法，并配上实践code，期望对读者有所协助。

链接：

zhuanlan.zhihu.com/p/584501634

14. NCCL源码解析①：初始化及ncclUniqueId的发生

NCCL是英伟达开源的GPU通讯库，支撑集合通讯和点对点通讯。

链接：

mp.weixin.qq.com/s/_SOmkGoo9…

15. 适配PyTorch FX，OneFlow让量化感知练习更简略

OneFlow紧随其后添加了针对OneFlow的fx，即One-fx，在装置One-fx之后，用户可以直接调用oneflow.fx，也可以直接经过import onefx as fx进行运用。

链接：

mp.weixin.qq.com/s/O8yGUuTL-…

16. One-YOLOv5 v1.2.0发布：支撑分类、检测、实例分割

新版别同步了Ultralytics YOLOv5的上游分支v7.0，一起支撑分类、目标检测、实例分割任务；支撑flask_rest_api；支撑运用 wandb 对实验跟踪和可视化功用；
oneflow_hub_support_pilimage；为每个batch的compute_loss部分减少一次h2d和cpu slice_update操作 ；优化 bbox_iou 函数和模型滑动平均部分，大幅提高练习功用；

兼容FlowFlops，练习时可以展示模型的FLOPs

链接：

mp.weixin.qq.com/s/bkEkInaF7…

欢迎 Star、试用 OneFlow 最新版别：
github.com/Oneflow-Inc…