C++入门基础知识110—【关于C++ if...else 语句】-CFANZ编程社区

实时开放词汇目标检测（论文复现）

文章目录

- 实时开放词汇目标检测（论文复现）
- - 概述
  - 模型框架
  - 使用方式
  - 配置环境
  - 训练和评估
  - - 训练
    - 评估
  - 演示效果
  - Gradio Demo

概述

在这里插入图片描述

模型框架

在这里插入图片描述

使用方式

配置环境

conda create -n yolov_world python=3.10
conda activate yolov_world

# 安装pytorch
pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 --extra-index-url https://download.pytorch.org/whl/cu113

# 安装其他依赖，这一步会比较久
pip install -e .
# 如果一直卡在Building wheel for mmcv就尝试下面的两个命令然后再重试
pip install -U openmim
mim install mmcv

训练和评估

训练

# 给脚本增加可执行权限
chmod +x tools/dist_train.sh
# 训练的示例命令,使用8个GPU，开启AMP混合精度训练
./tools/dist_train.sh configs/pretrain/yolo_world_l_t2i_bn_2e-4_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py 8 --amp

评估

# # 给脚本增加可执行权限
chmod +x tools/dist_test.sh
# 评估的命令
./tools/dist_test.sh path/to/config path/to/weights 8

演示效果

python image_demo.py path/to/config path/to/weights image/path/directory 'person,dog,cat' --topk 100 --threshold 0.005 --output-dir demo_outputs

# 将path/to/config替换成配置文件的路径，path/to/weights换成模型权重路径，模型权重可以在https://huggingface.co/wondervictor/YOLO-World/tree/main中下载，注意配置文件和模型权重需要对应，image/path/directory换成自己要检测图像的路径，'person,dog,cat' 换成自己感兴趣的类别，运行成功后结果在demo_outputs下查看。
# python image_demo.py configs/pretrain/yolo_world_v2_m_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py ./yolo_world_v2_m_obj365v1_goldg_pretrain-c6237d5b.pth data/images 'person,dog,cat' --topk 100 --threshold 0.005 --output-dir demo_outputs

在这里插入图片描述

Gradio Demo

pip install gradio==4.16.0 onnx onnxsim # 安装依赖
python demo.py path/to/config path/to/weights

# python demo.py configs/pretrain/yolo_world_v2_m_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py ./yolo_world_v2_m_obj365v1_goldg_pretrain-c6237d5b.pth

在这里插入图片描述