本文为纯科普向，较少涉及代码，主要是为不清楚GPT的小伙伴做科普，文章最后会附有一些黑科技，感兴趣的小伙伴能够去看看或者运用，仅供学习与沟通运用，不做商业用途。

前言

近日公司内部需要做一个月会技术共享，故写下此文章记载。

导读

  • 简介
    • 什么是GPT
    • GPT的历史背景
    • OpenAI 的历史背景
    • GPT的重要性和运用范畴
  • 作业原理
    • 预练习和微调
    • 留意力机制的效果
    • Transformer架构该书
  • GPT对咱们的优点有什么，为什么要用GPT
  • 相关文章
  • GPT的实际运用
    • 例子
    • 实战
  • 黑科技

I. 简介

A.什么是GPT

生成预练习转换器（Generative Pre-trained Transformer，简称GPT）是一种依据深度学习的自然言语处理模型，通过预先在大规划语料库上进行练习，然后能够了解和生成人类言语。

B.GPT的历史背景

GPT的来源能够追溯到2018年，由OpenAI提出。自那时以来，它阅历了多个版别的发展，不断提高模型规划和性能。

C.OpenAI 的历史背景

轻轻敲开GPT的大门（纯科普，内附黑科技）

OpenAI（敞开人工智能研讨中心）是一个美国人工智能研讨实验室，由非盈利安排OpenAI Inc，和其盈利安排子公司OpenAI LP所组成。 成立于2015年，总部位于美国加州旧金山。它最初由伊隆马斯克（Elon Musk）、山姆阿尔特曼（Sam Altman）、格雷格布洛克曼（Greg Brockman）、伊尔古德费洛（Ilya Sutskever）等人一起创建。OpenAI 的方针是推动人工智能技术的发展，致力于开发具有先进智能水平的系统，并将相关技术和研讨成果敞开给社会，以促进人工智能的全球范围内的积极运用。OpenAI 进行AI 研讨的目的是促进和发展友好的人工智能，使人类整体受益。 OpenAI 系统运行在微软依据Azure 的超级计算平台上。

D.GPT的重要性和运用范畴

GPT在自然言语处理范畴引起了广泛重视，因为它在各种使命上表现超卓，包含文本生成、翻译、对话、代码生成等。其强壮的言语了解和生成才能使其在人工智能、科研、商业等范畴都具有重要运用价值。

II. 作业原理

A. 预练习和微调

GPT的作业过程分为两个主要阶段：预练习和微调。预练习阶段通过大规划语料库的无监督学习，使模型学习言语的结构、语法和语义。微调阶段则通过在特定使命上的有监督学习来调整模型参数，使其习惯特定使命。

B. 留意力机制的效果

GPT的核心是Transformer架构，其中的留意力机制允许模型在处理输入序列时分配不同权重给不同位置的信息。这使得模型能够在生成文本时考虑上下文的相关，然后发生更加连接和准确的输出。

C. Transformer架构概述

Transformer架构由编码器和解码器组成，但在GPT中，只运用了编码器部分。编码器由多层自留意力机制和前馈神经网络组成，它们协同作业以对输入序列进行编码和笼统表示。

III. GPT的各个版别

A. GPT-1

GPT-1（Generative Pre-trained Transformer 1）是第一个版别的GPT系列模型，于2018年由OpenAI发布。它具有1.17亿个参数，采用了12层的Transformer架构。尽管在其时现已取得了必定的成果，但相对于后续版别，GPT-1的规划较小，生成的文本可能在连接性和语义上存在一些约束。

B. GPT-2

GPT-2于2019年发布，引起了广泛的重视。这个版别的模型规划更大，具有1.5亿至15亿个参数可供挑选。GPT-2以其超卓的文本生成才能和语境了解而闻名。然而，由于担忧其被滥用生成虚伪信息，OpenAI最初挑选了不完全揭露发布，后来逐渐供给了更大规划的模型供研讨和运用。

C. GPT-3

GPT-3是现在（截至2021年9月）停止最新的版别，于2020年发布。这个版别的模型规划巨大，最大的版别具有1750亿个参数。GPT-3在多个使命上展现出令人惊叹的通用性，能够履行文本生成、翻译、对话等使命，而无需针对特定使命进行微调。

D. 各版别的改善和区别

随着版别的升级，GPT系列模型在模型规划、练习数据、生成才能和性能方面都有明显的改善。每个版别都尝试处理前一个版别的局限性，提高了生成文本的质量和多样性，以及对上下文的了解才能。GPT-3特别引人注目，因为它推动了预练习模型的极限，并在广泛的使命中表现超卓，但也引发了关于其潜在危险和道德问题的评论。

IV. ‍ GPT的运用场景

A. 自然言语生成

  1. 文本创造： GPT系列在生成文章、故事和诗歌方面具有广泛运用。模型能够依据给定主题和风格生成高质量的文本内容。

轻轻敲开GPT的大门（纯科普，内附黑科技）

  1. 代码生成： GPT模型还能够生成程序代码，从简略的代码段到杂乱的算法实现，为开发人员供给了协助。

轻轻敲开GPT的大门（纯科普，内附黑科技）

  1. 对话生成： GPT可用于生成自然流通的对话，用于聊天机器人、虚拟帮手等。

轻轻敲开GPT的大门（纯科普，内附黑科技）

B. 言语翻译与了解

GPT系列在言语翻译和了解方面也有广泛运用。它们能够将文本从一种言语翻译成另一种言语，并能够揣度上下文中的隐含意思。

C. 智能帮手和客服

GPT模型能够用作智能帮手和客服系统，答复用户的问题、供给主张和处理问题，为用户供给个性化的支撑。

D. 数据处理与分析

GPT系列能够协助处理和分析很多的文本数据，从中提取有用的信息、趋势和模式，为决策制定供给支撑。

E. 医疗范畴运用

在医疗范畴，GPT能够辅佐医师分析医疗文档、研讨报告和病历，协助供给更准确的确诊和医治主张。

F. 立异的可能性与潜在危险

尽管GPT系列为各种范畴带来了许多立异运用，但也带来了一些危险，如虚伪信息生成、隐私问题以及人类赋闲等。因而，合理的运用和监管变得至关重要。之前在内有阅读到解说的很好的文章，推荐大家看一看，（提示词破解：绕过 ChatGPT 的安全审查），本章节不过多解说。

VI.️ 市面上的GPT实际运用

A.ChatGPT「官网地址，点击跳转」

ChatGPT是由OpenAI开发的一种人工智能言语模型，依据GPT（Generative Pre-trained Transformer）系列架构。它被练习用于生成自然言语文本，能够用于答复问题、进行对话、生成文本等多种使命。ChatGPT运用很多的文本数据进行预练习，然后学会了解言语的语法、语义和上下文，并能够生成流通、连接的文本。

ChatGPT的一个重要特点是，它能够依据输入的提示或问题来生成适宜的答复。它在广泛的主题上都有必定程度的常识，并能够进行聊天式的对话。然而，需要留意的是，ChatGPT的常识截止日期是2021年9月，因而它可能不会了解在此日期之后发生的事件。

OpenAI现已发布了几个版别的GPT模型，每个版别都在之前版别的基础上进行了改善和优化。ChatGPT是其中的一个版别，旨在更好地处理对话和沟通使命。

轻轻敲开GPT的大门（纯科普，内附黑科技）

B.GitHub Copilot「官网地址，点击跳转」

轻轻敲开GPT的大门（纯科普，内附黑科技）

C.New Bing「官网地址，点击跳转」

VII.ChatGPT的运用技巧

A.什么是Prompt

Prompt直意为提示词，简略易懂地讲就是用户提的问题就是Prompt，很大程度上ChatGPT对话中运用的提示语（Prompt）的质量能够大大影响对话的成功。定义明确的提示能够协助保证对话保持在正轨上，并包含用户感兴趣的论题，然后带来更有吸引力和信息量的体会。

轻轻敲开GPT的大门（纯科普，内附黑科技）

参阅博客：/post/721553…

VIII.自己编写代码

参阅博客：/post/724324…