文章目录
项目结构
-
main.py：根据不同的相位优化算法（SGD/GS/DPAC/Holonet/U-net）和模型（ASM/CITL）来生成相位图 -
eval.py：根据模型（ASM/CITL）来评估相位图和重建图像 -
main_eval.sh：一个bash脚本，带一个传入参数。首先在RGB通道上根据不同的相位优化算法（SGD/GS/DPAC/Holonet/U-net）执行main.py，然后在RGB通道上根据不同的相位优化算法（SGD/GS/DPAC/Holonet/U-net）执行eval.py -
propagation_ASM.py：实现角谱法相关算子 -
propagation_model.py：定义CITL相关模型 -
holenet.py：定义HoloNet/U-Net相关模型 -
algorithms.py：实现相位提取算法（GS/SGD/DPAC） -
train_holonet.py：训练HoloNet -
train_model.py：训练CITL模型 -
./data/：测试数据保存位置 -
./pretrained_networks/：HoloNet/UNet在RGB通道的预训练模型保存位置
./utils/：工具函数实现
-
utils.pycontains utility functions. -
modules.pycontatins PyTorch wrapper modules for easy use ofalgorithms.pyand our hardware controller. -
pytorch_prototyping/submodule contains custom pytorch modules with sane default parameters. (adapted from here) -
augmented_image_loader.pycontains modules of loading a set of images. -
utils_tensorboard.pycontains utility functions used for visualization on tensorboard. -
slm_display_module.pycontains the SLM display controller module. (HOLOEYE SDK) -
detect_heds_module_path.pysets the SLM SDK path. Otherwise you can copy the holoeye module directory into your project and import by usingimport holoeye. -
camera_capture_module.pycontains the FLIR camera capture controller module. (PyCapture2 SDK) -
calibration_module.pycontains the homography calibration module.
前期准备
- 代码拷贝
git clone git@github.com:computational-imaging/neural-holography.git
- 创建虚拟环境（按照environment_windows.yml安装，名字为neural-holography，并安装需要的包）
conda env create -f environment_windows.yml
conda activate neural-holography
- 问题汇总
问题：pycapture2安装不了
# 描述：pycapture2是相机拍照的包，可以手动安装
# 解决：进入flycapture skd官网(https://www.flir.cn/products/flycapture-sdk/)，
# china->现在下载->...->FlyCapture2->Windows->Python->PyCapture2-2.13.61.win-amd64-py3.6.msi下载
问题：holoeye python sdk没有安装
# 描述：官网上的sdk需要设备、账号才能下载，而且下载不下来
# 解决：用1.0版本的python sdk安装(代理商给的)，并且改一下环境变量的名字(HEDS_2_PYTHON_MODULES、HEDS_2_PYTHON)
问题：某些modules没有、找不到
# 描述：不知道为什么
# 解决：使用pip install **安装
问题：pytorch_prototyping下的文件没有、找不到
# 描述：该文件夹下的代码不是本论文作者写的
# 解决：去github上找到该文件单独拷贝下来，然后粘贴到相应的文件夹下
问题：pretrained_networks下模型打不开
# 描述：需要解压
# 解决：解压文件夹，将解压后的文件夹内容放到pretrained_networks下
问题：cuda存储空间不够
# 描述：代码使用GPU加速，显存不够或者batchsize太大
# 解决：增大显存或者改小batchsize
问题：import torch 报错[winerror 182]load error:......\caffe2_detectron_ops_gpu.dll...
# 描述：不知道为什么，可能是python、torch、cudatoolkit或者其他包之间的版本兼容性问题，或者是多次import torch（本文件、其他文件、import 其他文件(应该不是这个：我直接import torch也会报错)）
# 可能解决：1. 删掉这些dll文件
# 2. pip install intel-openmp
# 3. 尝试降低torch及依赖的版本到torch==1.4.0，但是存在问题: fft模块在torch新旧版本不同，torch1.4.0不支持complex操作，
# 4. 尝试将所有包安装默认版本（删掉environment_windows.yml中指定版本的部分）/安装python3.7/3.8，存在问题：错误依旧、某些第三方包（pycapture2）只支持到python3.6
# 5. 尝试观察代码内部的问题，注意到：在python命令行交互模式下import torch和训练holonet时会报上述错误，但是一开始做相位优化和重建时，同样import torch却没有报错，这是什么意思呢？尝试在train_holonet.py下观察代码，发现文件内调用了torch但是import torch是灰色的。从这点出发可能找到问题所在
# 解决？：删掉灰色部分，重新运行代码，正常跑起来了（环境仍然和environment_windows.yml中一致）
演示
Wave Propagation Model
角谱法（ASM）
相机在环校准模型（CITL）
数据集
模型的训练
测试
Phase Optimization Method
GS算法
- 测试：
python main.py --channel=0 --method=GS --root_path=./phases
SGD算法
- 测试：
- SGD with ASM(Gradient Descent):
python main.py --channel=0 --method=SGD --root_path=./phases - SGD with CITL(Gradient Descent):
python main.py --channel=0 --method=SGD --prop_model='MODEL' --prop_model_dir=YOUR_MODEL_PATH --root_path=./phases
- SGD with ASM(Gradient Descent):
CITL优化算法
- 测试：
python main.py --channel=0 --method=SGD --citl=True --root_path=./phases
DPAC算法
- 测试：
python main.py --channel=0 --method=DPAC --root_path=./phases
U-Net优化算法
- 测试：
python main.py --channel=0 --method=UNET --root_path=./phases --generator_dir=./pretrained_networks
HoloNet模型
数据集
- Phase pattern（Generated by iterative algorithm） + Target intensity image
模型的训练
测试
- Training with ASM：
python train_holonet.py --perfect_prop_model=True --run_id=my_first_holonet --batch_size=4 --channel=0
