QAnything在k8s部署-CFANZ编程社区

QAnything/QAnything使用说明.md
！！！Stirling PDF - PDF to Word
GitHub - Stirling-Tools/Stirling-PDF
GitHub - jina-ai/reader: Convert any URL to an LLM-friendly input with a simple prefix https://r.jina.ai/
DockerHub容器镜像库|应用容器化
镜像使用说明 (dockerhub.icu)
OmniParse | Cognitivelab

Tip：

Stirling PDF、jina-ai/reader、镜像下载服务ghcr.io网站、OmniParse、

*：URLs (Read) https://r.jina.ai/https://github.com/jina-ai/reader, (Search) https://s.jina.ai/Who%20will%20win%202024%20US%20presidential%20election%3F

QAnything版本选择说明：

一句话总结：python版本适合快速体验新功能，docker版本适合二次开发并用于实际生产环境，新功能暂缓支持。

说明：

使用jina-ai/reader、OmniParse或Stirling PDF（镜像：frooodle/s-pdf:latest）转换文档，ghcr.io加速下载镜像，

1、启动成功后可在访问前端页面使用

在浏览器中打开http://{your_host}:8777/qanything/

默认一般是http://0.0.0.0:8777/qanything/

即可使用UI界面，注意末尾的斜杠不可省略，否则会出现404错误

2、断网安装QAnything，可以使用以下命令启动服务：5个镜像

# 先在联网机器上下载docker镜像
docker pull quay.io/coreos/etcd:v3.5.5
docker pull minio/minio:RELEASE.2023-03-20T20-16-18Z
docker pull milvusdb/milvus:v2.3.4
docker pull mysql:latest
docker pull freeren/qanything-win:v1.2.x  # 从 [https://github.com/netease-youdao/QAnything/blob/master/docker-compose-windows.yaml#L103] 中获取最新镜像版本号。
# 打包镜像
docker save quay.io/coreos/etcd:v3.5.5 minio/minio:RELEASE.2023-03-20T20-16-18Z milvusdb/milvus:v2.3.4 mysql:latest freeren/qanything-win:v1.2.x -o qanything_offline.tar
# 下载QAnything代码
wget https://github.com/netease-youdao/QAnything/archive/refs/heads/master.zip

# 把镜像qanything_offline.tar和代码QAnything-master.zip拷贝到断网机器上
cp QAnything-master.zip qanything_offline.tar /path/to/your/offline/machine
# 在断网机器上加载镜像
docker load -i qanything_offline.tar
# 解压代码，运行
unzip QAnything-master.zip
cd QAnything-master
bash run.sh
# 注意上述命令仅适用于使用自研7B模型的情况，硬件要求30系，40系，或A系列显卡且显存>=24GB
# 如果不是，则根据此文档选择合适的模型或后端启动，此时需要增加手动下载模型的步骤：
# 下载非默认模型：(以下为使用MiniChat-2-3B示例，请按需更改)
cd QAnything-master/assets/custom_models
git lfs install
git clone https://www.modelscope.cn/netease-youdao/MiniChat-2-3B.git  # 可从有网络的地方下载后转移到无网机器的QAnything-master/assets/custom_models文件夹下即可
cd ../../
bash ./run.sh -c local -i 0 -b hf -m MiniChat-2-3B -t minichat

3、--->ghcr.io 加速请看 ghcr.dockerhub.icu

sudo tee /etc/docker/daemon.json <<EOF
{
    "registry-mirrors"
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
docker pull  ghcr.io/frooodle/s-pdf:latest        ---->OK

4、OmniParse是一个平台，可将任何非结构化数据摄取/解析为针对GenAI（LLM）应用程序优化的结构化、可操作数据。无论是处理文档、表格、图像、视频、音频文件还是网页，OmniParse都能让您的数据变得干净、结构化，并为AI应用程序（如RAG、微调等）做好准备。

docker pull savatar101/omniparse:0.1
# if you are running on a gpu 
docker run --gpus all -p 8000:8000 savatar101/omniparse:0.1
# else
docker run -p 8000:8000 savatar101/omniparse:0.1