C语言项⽬实践-贪吃蛇-CFANZ编程社区

1 前言

从一些大模型相关的论文里学了一些理论知识，但是还是欠缺实践经验，本系列博文是在学习上交大张倬胜老师的开源项目的基础上写的相关总结，旨在提升自己的大模型实践能力。开源项目地址：dive-into-llms。
备注：本项目大部分资源都需要科学上网才能获取。

2 大语言模型基础

3 实践代码

该部分介绍预训练模型微调，在特定任务上进行微调，提升预训练模型在指定任务上的性能，并将微调后的模型部署成方便使用的Demo！

目标：

熟悉使用Transformers工具包
掌握预训练模型的微调、推理（解耦可定制版本 & 默认集成版本）
掌握利用Gradio Spaces进行Demo部署
了解不同类型的预训练模型的选型和应用场景

3.1 准备工作

3.1.1 了解Transformers工具包

https://github.com/huggingface/transformers
🤗 Transformers 提供了可以轻松地下载并且训练先进的预训练模型的 API 和工具。使用预训练模型可以减少计算消耗和碳排放，并且节省从头训练所需要的时间和资源。这些模型支持不同模态中的常见任务，例如：
📝 自然语言处理：文本分类、命名实体识别、问答、语言建模、摘要、翻译、多项选择和文本生成。
🖼️ 机器视觉：图像分类、目标检测和语义分割。
🗣️ 音频：自动语音识别和音频分类。
🐙 多模态：表格问答、光学字符识别、从扫描文档提取信息、视频分类和视觉问答。
详细的中文文档：https://huggingface.co/docs/transformers/main/zh/index

3.1.2 安装环境

以文本分类（e.g., 虚假新闻检测）为例

我们进入到文本分类的案例库，参考readme了解关键参数，下载requirements.txt和run_classification.py
https://github.com/huggingface/transformers/tree/main/examples/pytorch/text-classification
安装环境：
（1）通过conda创建新的环境：

conda create -n llm python=3.9

（2）进入虚拟环境：

conda activate llm

（3）安装Transformers库

pip install transformers

（4）删除requirements.txt中自动安装的torch

pip install -r requirements.txt

若下载速度慢，可使用国内源：

pip [Packages] -i https://pypi.tuna.tsinghua.edu.cn/simple

conda install pytorch

准备数据：我们以Kaggle上的虚假推文数据集为例：
https://www.kaggle.com/c/nlp-getting-started/data

3.1.3 处理好的工程包（演示代码和数据）

使用集成版本（代码较为丰富、复杂，一般直接超参数调用，略有开发门槛）

TextClassification下载链接

3.2 基于集成版本进行微调

基于run_classification.py

3.2.1 理解关键模块：

加载数据（csv或json格式）
处理数据
加载模型
训练/验证/预测

3.2.2 训练模型

同时在开发集上验证，在测试集上预测，执行下述脚本：

python run_classification.py \
    --model_name_or_path  bert-base-uncased \
    --train_file data/train.csv \
    --validation_file data/val.csv \
    --test_file data/test.csv \
    --shuffle_train_dataset \
    --metric_name accuracy \
    --text_column_name "text" \
    --text_column_delimiter "\n" \
    --label_column_name "target" \
    --do_train \
    --do_eval \
    --do_predict \
    --max_seq_length 512 \
    --per_device_train_batch_size 32 \
    --learning_rate 2e-5 \
    --num_train_epochs 1 \
    --output_dir experiments/