ChatGPT的核心技术思维导图
ChatGPT的核心技术
树图思维导图提供 ChatGPT的核心技术 在线思维导图免费制作，点击“编辑”按钮，可对 ChatGPT的核心技术 进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：4e1fec9b8449d4c629aa98153115d1c1
思维导图大纲
ChatGPT的核心技术思维导图模板大纲
缘 起
一是，未来很长一段时间在智能化领域，我们都将经历“科研、算力、基础架构、工程、数据、解决方案”这个循环的快速迭代
二是，通过对这篇论文的探讨，可以更直观地理解
三是，在AI领域，由于技术原因，更多的论文是开源代码的
四是， AI技术发展有很多领域（感知，认知，感知又分图像、语音、文字等，认知也可以分出很多层次）之前这些领域的算法逻辑存在很大差别
启发收获
从理论科研进步的角度看
一、Transformer打破了时序计算的逻辑，开始快速出圈，多个AI原本比较独立的领域开始在技术上融合
二、AI科研确实具有一些实验性质
三、《Attention is all your need》在业内大名鼎鼎，但你要是细看，会发现很多内容也是拿来主义
从理论、算法、架构、工程的角度看
四、AI算法科研领域正经历算法、开源代码、工程、算力的增长飞轮。
从数据和后续发展的角度看
五、ChatGPT的成功同大量的数据训练功不可没，但除了简单对话互动或者翻译，大篇幅回答甚至论文级别的答案还是极其缺乏样本数据
六、由于transformer是更高级的神经网络深度学习算法，对数据量有很高要求，这也催生了从小数据如何快速产生大数据的算法，比如GAN对抗网络等
七、我们发现在机器学习算法中有大量的超级参数，比如在transformer里多头机制需要几头N，文字变成向量是512还是更多，学习速率等都需要在训练之前提前设置
相关思维导图模板
树图思维导图提供 小数的意义和性质 在线思维导图免费制作，点击“编辑”按钮，可对 小数的意义和性质 进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：34491e2847601fcf85f8d8bdc975767d
树图思维导图提供 活动3：不同理论导向下的教学设计体验 在线思维导图免费制作，点击“编辑”按钮，可对 活动3：不同理论导向下的教学设计体验 进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：e579b2f244991b2a05511fd3c97fda9f
沪公网安备 31011502019485号
上海工商