0
点赞
收藏
分享

微信扫一扫

RK3588+MIPI+GMSL+AI摄像机:自动车载4/8通道GMSL采集/边缘计算盒解决方案

1、大模型llama3技术点

参考:https://www.zhihu.com/question/662354435/answer/3572364267

Llama1-3,数据tokens从1-2T到15T;使用了MHA(GQA缓存);上下文长度从2-4-8K;应用了强化学习对其。

  • 1、pretraining((1) 初始预训练,(2) 长上下文预训练,以及 (3)
    退火(Annealing))+posttraing(SFT+DPO)

  • 2、合成数据应用

  • 3、Norm函数:RMSNorm,Norm结构:Pre-Norm,Self Attention: Grouped Query Attention(GQA) ,Position编码:ROPE,FFN结构:SwiGLU

Norm函数:RMSNorm
Norm结构:Pre-Norm
Self Attention: Grouped Query Attention(GQA)Position编码:ROPE
FFN结构:SwiGLU

在这里插入图片描述

2、transformer模型常见知识点

大模型面经:
https://docs.qq.com/doc/DSGtaUUpydFBEd2FC

在这里插入图片描述

举报

相关推荐

0 条评论