多层感知器,模型训练,模型构造等内容讲解
树图思维导图提供 算法模型构造 在线思维导图免费制作,点击“编辑”按钮,可对 算法模型构造 进行在线思维导图编辑,本思维导图属于思维导图模板主题,文件编号是:bb765c1ab6ccdea88d2f4437864af8db
算法模型构造思维导图模板大纲
MLP模型 activation Funtion:激活函数 weighs :权重 threshold :偏置、阈值
组成
输入层
隐层
输出层
多模态大模型的训练
训练阶段
MMPT
X-Text 数据集——优化
输入投影
输出投影
MMIT(Instruction Tuning)
有监督微调(SFT)
基于人类反馈的强化学习(RLHF)
步骤
多模态理解
输入投影
大模型主干
多模态编码器
多模态生成
输出投影
多模态生成器
潜在扩散模型(Latent Diffusion Models,LDMs)
LLMs推荐模型
LLaMA
LLaMA: Open and Efficient Foundation Language Models
开源地址
https://github.com/meta-llama/llama
OPT
OPT: Open Pre-trained Transformer Language Models
开源地址
https://github.com/facebookresearch/metaseq
T5
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
开源地址
https://github.com/google-research/text-to-text-transfer-transformer
https://huggingface.co/google?sort_models=likes#models
mT5:
A Massively Multilingual Pre-trained Text-to-Text Transformer
开源地址
https://huggingface.co/models?search=mt5
UL2 and Flan-UL2
A Massively Multilingual Pre-trained Text-to-Text Transformer
blog
https://www.yitay.net/blog/flan-ul2-20b
model
ul2
https://huggingface.co/google/ul2
flan-ul2
https://huggingface.co/google/flan-ul2
PaLM
Scaling Language Modeling with Pathways
LaMDA
LaMDA: Language Models for Dialog Applications
blog
https://blog.google/technology/ai/lamda/
Flan-T5 and Flan-PaLM
Scaling Instruction-Finetuned Language Models
开源网址
https://huggingface.co/google/flan-t5-large
Flan
FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERS
BLOOM
A 176B-Parameter Open-Access Multilingual Language Model
开源网址
https://huggingface.co/bigscience/bloom
T0
MULTITASK PROMPTED TRAINING ENABLES ZERO-SHOT TASK GENERALIZATION
开源网址
https://huggingface.co/bigscience/T0
BLOOMZ and mT0
Multilingual version of BLOOM and T0
开源网址
子主题 1
GPT-NEO
GitHub
https://github.com/EleutherAI/gpt-neo
GPT-NeoX
An Open-Source Autoregressive Language Model
GitHub
https://huggingface.co/EleutherAI/gpt-neox-20b
OpenAI-GPT
Addr
https://zhuanlan.zhihu.com/p/608309509
Stanford(Alpaca,LLaMA的指令微调模型)
GitHub
https://github.com/tatsu-lab/stanford_alpaca
Prompt/Instruct Tuning 开源数据总结
Addr
https://zhuanlan.zhihu.com/p/615277009
识别并记下核心思想
转述信息,而不是逐字复制
课后立即安排时间复习笔记
补充遗漏的信息
使用笔记本电脑/平板电脑加快记笔记的速度
如允许,使用录音设备
为常用术语/概念创建简短版本
将笔记按时间顺序或按主题分组
使用分隔符、文件夹或数字归档
树图思维导图提供 提出猜想,设计实验并探究猜想 在线思维导图免费制作,点击“编辑”按钮,可对 提出猜想,设计实验并探究猜想 进行在线思维导图编辑,本思维导图属于思维导图模板主题,文件编号是:03baba5b082039e31716d686b0930342
树图思维导图提供 全口义齿的印模和模型 在线思维导图免费制作,点击“编辑”按钮,可对 全口义齿的印模和模型 进行在线思维导图编辑,本思维导图属于思维导图模板主题,文件编号是:1affbdde8c6766455619cabdda3a36a9