DeepSeek系列模型登陆昇腾社区,轻松实现一键部署快速推理

   时间:2025-02-05 16:01 来源:ITBEAR作者:杨凌霄

近日,华为官方公众号发布了一则重要消息,宣布DeepSeek系列模型的新进展。据悉,2月4日,DeepSeek-R1、DeepSeek-V3、DeepSeek-V2以及Janus-Pro已在昇腾社区正式上线。

此次上线的DeepSeek系列模型,为开发者们提供了极大的便利。用户只需一键操作,即可轻松获取这些模型,并在昇腾硬件平台上实现开箱即用,大大加速了推理部署的过程。

为了帮助开发者更好地使用这些模型,华为还提供了详细的模型调用方式。对于GPU用户,可以通过克隆GitHub上的DeepSeek-V3仓库,并执行相应的Python脚本来完成权重转换。而对于NPU用户,则可以通过访问特定的模型仓库,执行类似的转换操作。

在获取并转换好权重后,接下来的一步是加载镜像。开发者需要从昇腾社区下载适配DeepSeek-V3的镜像包,并使用docker命令进行加载。加载完成后,通过docker images命令可以确认镜像的名称与标签。

随后,开发者可以使用提供的MindIE镜像来启动容器。这个镜像已经预置了DeepSeek-V3模型的推理脚本。开发者只需将获取到的权重放置在模型代码的主目录下,并修改模型文件夹的属组和执行权限,即可启动容器进行推理。

在服务化测试阶段,开发者需要配置服务化环境变量,并修改服务化参数。其中,一个关键的配置是使能内存池扩展段功能,即虚拟内存特性。这一配置可以通过设置环境变量PYTORCH_NPU_ALLOC_CONF来实现。

此次DeepSeek系列模型的上线,无疑为开发者们提供了更为便捷、高效的模型使用方式。相信随着昇腾社区的不断完善和发展,将会有更多的优质模型和工具被推出,为人工智能领域的发展注入新的活力。

 
 
更多>同类内容
推荐图文
推荐内容
点击排行
 
智快科技微信账号
ITBear微信账号

微信扫一扫
加微信拉群
电动汽车群
科技数码群