在我司服務器上部署,但是嘗試了其他文章的docker鏡像,出現算子錯誤等問題,后面又用回
參考文獻
https://blog.csdn.net/sccum/article/details/145995250
https://blog.csdn.net/qq_41994821/article/details/147223327
https://ascend.readthedocs.io/zh-cn/latest/sources/sentence_transformers/install.html
docker run -it -d --net=host --shm-size=20g \
--name Xinf \
--device /dev/davinci4 \
--device /dev/davinci5 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /root/.cache:/root/.cache \
-v /share/models/embedding/bge-reranker-v2-m3:/bge-reranker-v2-m3:ro \
-p 9997:9997 \
-it $IMAGE bash
# 終端1
export XINFERENCE_ENDPOINT=http://0.0.0.0:9997
xinference-local --host 0.0.0.0 --port 9997
# 終端2
export XINFERENCE_ENDPOINT=http://127.0.0.1:9997
## 本地下載重排序模型之后
xinference launch --model-name bge-reranker-v2-m3 --model-type rerank --model-path /bge-reranker-v2-m3
后面我直接通過打開http://127.0.0.1:9997配置embedding和rerank模型。
本文來自博客園,作者:magicat,轉載請注明原文鏈接:http://www.rzrgm.cn/magicat/p/19161008
浙公網安備 33010602011771號