ChatGPT/GPT的核心原理
树图思维导图提供 ChatGPT/GPT的核心原理 在线思维导图免费制作,点击“编辑”按钮,可对 ChatGPT/GPT的核心原理 进行在线思维导图编辑,本思维导图属于思维导图模板主题,文件编号是:51efc1b0b83349bcb4c2996d714d8bb7
ChatGPT/GPT的核心原理思维导图模板大纲
NLP/NLU领域已知局限包括对重复文本、对高度专业的主题的误解,以及对上下文短语的误解。
对于人类或AI,通常需接受多年的训练才能正常对话
NLP类模型不仅要理解单词的含义,还要理解如何造句和给出上下文有意义的回答,甚至使用合适的俚语和专业词汇。
本质上,作为ChatGPT基础的GPT-3或GPT-3.5 是一个超大的统计语言模型或顺序文本预测模型。
与BERT模型类似,ChatGPT或GPT-3.5都是根据输入语句,根据语言/语料概率来自动生成回答的每一个字(词语)
从数学或从机器学习的角度来看,语言模型是对词语序列的概率相关性分布的建模
即利用已经说过的语句(语句可以视为数学中的向量)作为输入条件,预测下一个时刻不同语句甚至语言集合出现的概率分布
ChatGPT 使用来自人类反馈的强化学习进行训练,这种方法通过人类干预来增强机器学习以获得更好的效果
由于ChatGPT更强的性能和海量参数,它包含了更多的主题的数据,能够处理更多小众主题
在训练过程中,人类训练者扮演着用户和人工智能助手的角色,并通过近端策略优化算法进行微调
来源——百度科普
树图思维导图提供 HarmonyOs 在线思维导图免费制作,点击“编辑”按钮,可对 HarmonyOs 进行在线思维导图编辑,本思维导图属于思维导图模板主题,文件编号是:33b352332cd61ae9bda089308243d88b
树图思维导图提供 3A Unit 1 A Proper Job 在线思维导图免费制作,点击“编辑”按钮,可对 3A Unit 1 A Proper Job 进行在线思维导图编辑,本思维导图属于思维导图模板主题,文件编号是:8d966446cda22e33b426cba15d3d981e