ChatGPT

ChatGPT是OpenAI基于GPT-3.5开发的语言模型聊天机器人。ChatGPT以OpenAI的Generative Pre-trained Transformer（GPT）模型命名，它提供用户问题的答案，并允许用户以对话方式与后续问题和响应进行交互。

语言模型为用户的请求生成输出，能够编写代码、诗歌、歌曲、散文、故事（受特定作者启发）等。ChatGPT能够承认错误，质疑不正确的问题，拒绝被认为不合适的请求。聊天机器人类似于另一个OpenAI模型InstructGPT，它被训练为遵循指令并提供详细的响应。

ChatGPT基于OpenAI的GPT-3.5，这是一系列基于2021年底之前的文本和代码混合训练的模型。GPT-3.5等大型语言模型基于互联网上的大量数据（包括文本和代码）进行训练，能够理解问题的含义并提供类似人类的回答。OpenAI的GPT-3模型基于570千兆字节的文本进行训练，拥有超过1750亿个参数，与其前身GPT-2的15亿个参数相比大幅增加。ChatGPT为GPT-3.5模型增加了一个额外的训练层，称为带人反馈的强化学习（RLHF）。该培训使用人的反馈来改进模型，使ChatGPT能够更好地遵循方向并产生更好的响应。

2023年1月11日，OpenAI官方Discord分享了一份临时名为ChatGPT Professional的付费语言模型实验版的等待名单。新的服务将提供更高的可用性和更快的响应，并为用户提供至少两倍于免费版本的每日解答。ChatGPT专业试点的等待名单对任何人开放，并附有一份关于用户当前如何使用聊天机器人，以及他们认为公平的价格的问卷。

2023年2月1日，OpenAI在美国推出了一个名为ChatGPT Plus的试点订阅计划。ChatGPT plus每月费用20美元，为用户提供以下功能：
即使在高峰时段都可以访问ChatGPT
更快的响应时间
优先使用新功能和改进

OpenAI将邀请等待名单中的用户，并计划将访问范围扩大到其他国家。公司计划根据用户反馈改进和扩展ChatGPT Plus，并探索低成本计划，业务计划和数据包的选项，以提高可用性。

ChatGPT是GPT-3.5系列模型的一个微调版本，使用与OpenAI的InstructGPT相同的RLHF方法进行训练，此数据集与InstructionGPT数据集混合，并转换为对话格式。

为了建立强化学习的奖励模型，ChatGPT收集了人类训练者和聊天机器人之间的对话作为比较数据（根据质量对两个或多个回答进行排名的能力）。模型撰写的信息是随机选择的，抽取了几个备选完成，培训师对其质量进行排名。使用近端策略优化将此信息反馈到模型中，该过程重复了多次以提高性能。