前言
为了学习使用BERT模型做知识库问答，因此找到了开源的 KgCLUE 项目。其中 KgCLUEbench 是方便初学者学习的子项目，相比原项目精简了很多。就此介绍 KgCLUEbench 的环境配置。
本文使用 Ubuntu 18.04 环境
正文
更新环境
sudo apt update && sudo apt upgrade
下载库文件
下载 KgCLUEbench 和 KgCLUE 两个库
git clone https://github.com/CLUEbenchmark/KgCLUE.git
git clone https://github.com/CLUEbenchmark/KgCLUEbench.git
创建虚拟环境
使用 python virtualenv 创建虚拟环境
python -m pip install --upgrade pip # 升级 pip
pip install virtualenv
virtualenv nlp2022 --python=python3.7
cd nlp2022/bin
source ./activate
tensorflow环境配置
使用上海交大源
pip install tensorflow==1.15.4 -i https://mirror.sjtu.edu.cn/pypi/web/simple
pip install tensorflow-gpu==1.15.4 -i https://mirror.sjtu.edu.cn/pypi/web/simple
pip install requests==2.23.0 -i https://mirror.sjtu.edu.cn/pypi/web/simple
设置项目根目录
python 3.7.9
>>> import site
>>> site.getsitepackages() # 记录python模块路径path
>>> exit() # 退出python REPL
创建 pth 文件
vim module_path/KgCLUEbench.pth
插入 KgCLUEbench的绝对路径，保存退出
配置数据集
进入DataMaking.py 发现需要配置输入数据路径，包括训练集，测试集和验证集
为了获取数据，从 KgCLUE-main 中的获取 train.json，dev.json 和 test_public.json 分别作为训练集，验证集和测试集，放在 raw_data 文件夹
找到喜欢的模型并下载，这里用的是 chinese_rbtl3_L-3_H-1024_A-16.zip 模型页面
在 pretraning_model 文件夹解压，可以知道数据配置文件为 bert_config_rbtl3.json
下载知识库（参考 KgCLUE README），解压到 knowledge 文件夹
修改 algorithm 下的 config.py 中 model_source，bert_config 为上面的文件
修改 KG 文件夹下的 es.py 中的 input_file 调整为下载下来的知识库文件名, host, port调整为服务器上的 host 和 port
测试运行
cd algorithm/kg_qa/NER
python DataMaking.py # 生成数据
python TrainAndValid.py # 进行训练和验证
总结
本文介绍了 KgCLUEbench 的 NER 部分环境配置，对于 SIM 部分可进行类似的操作。
