开yun体育网

DeepSeek AI最新发布的多模态大模子Janus-Pro,以及之前发布的大型言语模子DeepSeek-R1、DeepSeek-V3及DeepSeek-V2,仍是发布,就在AI边界引起了浓烈反响,多项翻新技艺显赫普及了模子的性能与效果。DeepSeek系列模子首发即支捏昇腾平台,神州数码旗下神州鲲泰推理处事器居品搭载昇腾硬件,可全面支捏DeepSeek系列模子的快速部署,可为用户带来更快、更高效、更马虎的AI竖立和利用体验。

2025年2月4日,DeepSeek-R1、DeepSeek-V3、DeepSeek-V2、Janus-Pro认真上线昇腾社区,支捏一键得到DeepSeek系列模子,支捏昇腾硬件平台上开箱即用,推理快速部署,带来更快、更高效、更马虎的AI竖立和利用体验,接待高大竖立者体验使用。

    

底下以Deepseek-V3为例,

演示在昇腾社区奈何高效得到模子及使用

1硬件条款

部署DeepSeek-V3模子需竖立4台KunTai A924推理处事器(每台搭载8张昇腾推理卡)

    

2模子调用试验

一、 权重交流

GPU:

    

NPU:

    

二、 加载镜像

在昇腾社区/竖立资源下载适配DeepSeek-V3的镜像包:

mindie:1.0.T71-800I-A2-py311-ubuntu22.04-arm64

完成之后,请使用docker images敕令阐发查找具体镜像称呼与标签。

    

三、 容器运转

提供的MindIE镜像预置了DeepSeek-V3模子推理剧本,从您信任的源流自行得到权重后,扬弃在从上述下载的模子代码的主目次下,修改模子文献夹属组为1001,实行权限为750,运转容器。

    

    

四、 处事化测试

竖立处事化环境变量,expandable_segments-使能内存池彭胀段功能,即虚构内存特色。

    

修改处事化参数

    

拉起处事化

    

图片出现“Daemon start success!”,则觉得处事得胜运转。

更深远了解DeepSeek系列模子在昇腾上的使用设施及指导文档,可登录昇腾社区模子库专区学习了解!