10 大模型（LLMs）训练集
10.1 SFT（有监督微调）的数据集格式？
10.2 RM（奖励模型）的数据格式？
10.3 PPO（强化学习）的数据格式？
10.4 找数据集哪里找？
10.5 微调需要多少条数据？
10.6 有哪些大模型的训练集？
10.7 进行领域大模型预训练应用哪些数据集比较好？
3 大模型（LLMs）微调
3.1 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？
3.2 为什么SFT之后感觉LLM傻了?
3.3 SFT 指令微调数据 如何构建?
3.4 领域模型Continue PreTrain 数据选取？
3.5 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？
3.6 领域模型Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识？
3.7 进行SFT操作的时候，基座模型选用Chat还是Base?
3.8 领域模型微调 指令&数据输入格式 要求？
3.9 领域模型微调 领域评测集 构建？
3.10 领域模型词表扩增是不是有必要的？
3.11 如何训练自己的大模型？
3.12 训练中文大模型有啥经验？
3.13 指令微调的好处？
3.14 预训练和微调哪个阶段注入知识的？
3.15 想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？
3.16 多轮对话任务如何微调模型？
3.17 微调后的模型出现能力劣化，灾难性遗忘是怎么回事？
3.18 微调模型需要多大显存？
3.19 大模型LLM进行SFT操作的时候在学习什么？
3.20 预训练和SFT操作有什么不同
- 数据：
- 训练方式：
总的来说，预训练和有监督微调是大语言模型训练的两个阶段，目标、数据和训练方式等方面存在差异。预训练阶段通过无监督学习从大规模文本数据中学习语言模型，而有监督微调阶段则在特定任务上使用带有标签的数据进行有监督学习，以适应任务要求。
