AI模型的暴论

背景

本人自由职业，运营者AI开源项目github.com/CloudOrc/So…

技能完结

on-premise

内部的私有数据价值越来越低，现已为了做大模型价值，存储许多私有数据，再加上例如LAION 爆火，LLM爆火，让toB 的私有数据价值逐步降低，那么数据侧还能具有的价值是共生数据，公司自身的模型加上客户的数据，两者构建一个不能够迁移的部分，这个是最有价值的数据。

开源数据

AI 新的切入方向，开源数据集，关于算力的要求比较低，可是具有国际意义，是构成AI重要组成部分，LAION 便是很好的例子。

像前几天的三个00后建议开源数据集项目，方针要搜集国际上所有的数据，榜首部把所有arxiv 数据集成。

fine tuning

假如预训训练模型（LM）十分强力，那么fine tuning其实是在 90% 的场景下是完全能够被无视掉的。fine tuning 是人经过prompt 与 LLM体系达到共建联系。

最直观的场景，协同工作职业，马上就出了许多LLM入口，客户数据会聚到这些渠道里边，经过LLM体系构建一种联系。

设备制造商，在手机领域卷了许多年摄像头，急需切入这个场景的办法。

护城河

往往知道的榜首KPI ，并不是最重要，必定要找到自己除此之外的点，许多人都会知道到最显眼榜首KPI。

事务应战与机会

前史包袱

AI的开展不是周期性，依据不同的切入点做延伸，你会感觉周期性的有点另起炉灶，这种感觉咱们常常过几年就会发现，曾经很盛行的东西现已再没有人提这个事了。而从 AI 的开展，你假如执行在产品层面来说，这我觉得关于创业者来说是很好的，在不断创造新的或许性，可是从技能的视点来说，其实技能一直是在替换过去的既有的实践，虽然来说底层技能就的确有些延续性的，可是做过真实 AI 创业人都会发现，所谓的 AI 创业，哪怕咱不谈所有的销售或许这些商业化的东西，你 80% 的东西是产品工程， 20% 的是底层的技能。甚兰交。假如你是这时分创业，而你刚好不是 open AI 或许 Anthropic 的话，你或许有 10% 的技能就不错了。而这个时分咱们会发现，所有这些先来的人，他不只是技能，职业规划，乃至利益分配这些东西都是前史包袱。

就像最近看到百度的AI搜索，集成了一堆人物场景，这个价值和规划真的有那么大影响力？具体能够等揭露数据。

moderation API

数据安全，合规，经过API办法解耦。类似openAI API

可放缩式丧失

要随时切换不同人物看问题，一直是技能的人物，会让创业的画像损失维度。

运营其实离客户最近，他的视点必定是会把把拔高希望的，不会了解产品和技能，尤其技能会离客户更远的。产品工程看的MVP完结，又与技能有误差，所以在现在的时代缺的是能放下前史包袱，随时切换人物的人物。

Github

GitHub 的土壤，未来必定会在这里发生许多颠覆的性的产品，例如：langchain

低代码渠道是伪需求

其实许多时分你的最精准的用户，并不需求去写代码，只需你的模型满足强力便是能经过prompt完结内容。

代码这块，Github Copilot 现已做的满足成功，占领了先机。

低代码这件事最常见一个便是所谓的在事务后台或许后台体系构建一个东西，它处理的问题是什么呢？是标准问题下面的复杂问题呈现这什么意思？咱们能够回忆一下比较火的这些低代码的渠道，比如像airtable、 NocoDB，他们的上游是什么？他们上游是 SQL 数据库，十分标准的一个东西，中间咱们只需从零搭建一套后台体系是十分十分繁琐的。

LLMs的上游是prompt ，这是一套新的标准。

向量数据库跟LLMs联系？

向量数据库最首要的作用做检索和引荐作用，跟LLM联系不大，跟embedding模型是结合联系的。

OpenAI 的 embedding 模型首要用于文本表示,它能够把文本映射到低维的向量空间,完结比如类似度核算、分类等使命。该模型具有以下首要作用:

• 文本表示。embedding 模型能够将文本映射到较低维的向量空间,完结文本的数字化表示。这样,文本处理的使命能够转化为向量空间中的运算,更容易被机器学习模型处理。
• 类似度核算。在embedding 空间中,类似的文本对应的向量愈加接近。因而,咱们能够经过核算两个向量的类似度(如余弦类似度)来判别两个文本的类似程度,完结类似文本查询等功能。
• 文本分类。在embedding 空间中,同一类其他文本对应的向量会聚集在一起。所以,咱们能够 base 向量空间中的聚类状况来判别文本类别,完结文本分类。
• 其他下流使命。embedding 向量作为文本的数字特征,能够被输入到其他机器学习模型中,用于情感剖析、主题揣度等各种下流使命。

midjourney数据飞轮

• 搜集和收拾大量数据。Midjourney 经过 Web 爬虫、人工标示等手法搜集海量图画、文本等数据,并对数据进行清洗、标示和收拾,构建高质量的数据集。
• 基于数据开发 AI 模型。Midjourney 使用 Step1 构建的数据集开发核算机视觉、自然语言处理等 AI 模型。这些模型能够完结图画识别、语义了解等使命。
• 将 AI 模型以 API 方式开放。Midjourney 将开发的 AI 模型以 API 的方式开放给客户使用。客户能够在自己的产品或服务中调用这些 API,完结相应的 AI 才能。
• 用户使用 API 发生更多数据。当用户调用 API 使用 AI 服务时,会发生更多的数据,如用户图画、文本,用户交互数据等。这些新发生的数据被 Midjourney 搜集起来,输入到 Step1,不断丰厚数据和进步模型作用。
  不断迭代以上步骤。Midjourney 经过不断重复 Step1 到 Step4 的进程,构建起数据与模型的正反应循环,完结数据和算法的快速进步。这就形成了数据飞轮效应。

所以,数据飞轮形式的核心是构建数据和算法的相互促进的循环。数据推动算法进步,从而发生更多数据;算法进步数据的价值,更好识别和了解数据。这种互动构成了数据飞轮,能够完结人工智能的持续快速开展。

这种商业形式长处：

• 可持续开展。经过正反应循环,数据和算法能够相互促进,不断进步,完结持续开展。
• 先发优势。能先构建数据飞轮,并抢占市场,能够经过网络效应取得先发优势。
• 双向网络效应。数据网络效应和算法网络效应相互作用,发生强大的双向网络效应。

模型与办法

笔直模型

市面上现在大部分笔直模型在它的领域内乃至其实功能是不如 GPT 4 的。强调了针对特定领域和使命的专业化模型的重要性。

这个原因是什么呢？由于咱们现在关于通用大模型来说，咱们的数据和规划远远没有达到饱和，任何有价值的领域直接就会被整合进通用模型中，不存在任何的权衡，所以这是一个完全免费的提高，所以终归会被合并进去的。

由于你任何添加新的这个领域，其实也会不只让模型在这一个领域内的才能提高，它会影响整个横向的提高。这是大模型咱们觉得十分吸引人的一个点。就之前咱们做一个领域的时分，咱们的堆集只能让咱们在这一个领域有提高，而做大模型咱们发现咱们的模型在横向的生长，这是十分棒的。所以总结来说便是笔直使用之间的差异应该在事务而不在模型。

多模态

多模态学习是指使用来自不同模态(形式)的数据进行机器学习的进程。现在openAI 发版主攻这块，现在还是处于初级阶段。

RLHF 真的是有必要？

RLHF自身是一个比较研讨性的办法,并不必然安稳或是有必要的。近期一些研讨,如DPO(Direct Preference Optimization),证明假如有满足丰厚的人的偏好反应数据,咱们不必定需求强化学习,能够直接经过最大似然估计来优化语言模型,省去奖赏模型。

所以,RLHF并不是对齐有必要的手法。首要有以下原因:

• RLHF需求设计奖赏函数,这自身便是一个难点,不安稳且过错设计或许导致非理想结果。假如有满足反应数据,咱们能够直接优化模型以最大化数据似然,不需求奖赏建模。
• RL需求大量的环境交互和试错进程进行学习,这在一些环境下(如对话体系)或许比较耗时消耗资源。假如有满足的人的偏好反应,咱们能够直接学习来拟合这些反应。
• RL的学习进程比较不安稳,易受初始化、超参数等的影响,终究的策略也比较难以解释和了解。经过直接学习偏好反应能够发生愈加安稳和可解释的结果。
• 人的反应自身就包括对模型行为的评价,假如有满足反应,其完结已涵盖了RL中奖赏信号要表达的信息。所以,没有必要再经过额定的奖赏建模。
  所以,整体来说,RLHF不是对齐的必要手法。假如有满足丰厚的人的反应与偏好数据,咱们能够经过愈加简略和直接的学习办法来进行对齐和优化模型,而不必定需求引入强化学习与奖赏建模。人的反应自身就包括了需求的训练信号。

RLHF是一个比较研讨性的论题,实际使用中更简略和直接的办法或许愈加有用。所以,它并不必然是达到对齐的唯一或最佳手法。重点是数据与优化方针,手法能够依据具体状况挑选。

开源与认知

技能平权

在风口，其实技能平权，许多公司做的不是太多，受限于环境，这时分就看谁在这个平权机会下，找到切入点，开源由于自带社区特点，离使用者近，可是很有或许不是最精准用户，有很大误差，需求不断调整方向，产品工程视点思考。

需求不断衔接多种社区，从上下流供应链的办法进行整合。

LLMs出现

LLMs是很强生成才能，自我标示，例如：算力充分下，才能十分强，十分智能，能够延伸许多内容，算力缺失下，需求反复承认生成内容。

跟着模型迭代的参数量变，ChatGPT 对国际的认知发生了质变。他不再是单纯记住预训练的信息。现在的信息会经过了解，再被提炼为常识，然后由 GPT 为你表达。而到了 GPT-4，也能够说 他拥有超越了认知的创造力。这个进程挺像人脑的进化，神经元开展到必定数量之后，智人就拥有了操纵地球的才能。

LLMs插件

这个十分厉害切入点，现在并没有制定标准，openAI一直不去上市，想当建立类似基金会，制定国际标准，先入的做插件的人，能够被社区承受，也便是说后续是共建标准的组织，例如：langchain，openAI