医院本地化部署DS全攻略：选型、AI幻觉与安全风险规避

作为国内首家成功部署全量版DeepSeek-R1-671B的医疗机构，深圳大学附属华南医院通过创新的量化技术和动态算力分配策略，实现了千亿参数模型在医疗场景的落地应用。

面对大模型部署的算力挑战，华南医院通过采用INT4量化技术，将671B模型的显存需求从1.34TB降至336GB，仅需32张H100显卡即可流畅运行。更巧妙的是，医院同时部署了32B、70B和671B三个版本，让用户可以根据任务复杂度灵活切换，既提升了复杂临床问题的处理能力，又优化了算力资源的使用效率。         

在技术落地的过程中，安全性和可靠性是医疗AI不可逾越的红线。华南医院人工智能团队发现，使用Ollama工具部署时，存在未授权访问等安全风险。为此，他们通过严格的本地网络隔离和安全加固，并进行了全面的压力测试，确保系统在高并发场景下的稳定性。           

针对大模型普遍存在的「幻觉」问题，华南医院开创性地将RAG技术与专病知识库相结合。以外挂临床指南、专家共识等权威资料的方式，不仅显著提升了回答的准确性，还能标注答案出处，实现了诊疗建议的可追溯性。      

3月27日，深圳大学附属华南医院医学人工智能研究所副所长张永波做客健康界ALL in Al Health 创新应用大讲堂，揭秘大模型部署工程细节，分享技术选型、AI幻觉与安全风险规避经验，展望「AI医院」从构想逐步变为现实的路径。

本文精选部分内容，供广大同仁交流，欢迎在评论区留言。

大模型本地化部署对于硬件资源要求较高，比如CPU、GPU、内存、存储以及网络带宽等。其中显卡和GPU的选择是重中之重。下表展示了医院部署DeepSeek R1不同参数版本的显存需求以及推荐的显卡配置。  

张永波介绍，华南医院在部署的过程中是选择量化的方式,也就是将模型中的权重和激活从高精度（如 FP32或FP16）转换为低精度（如INT8或INT4）的过程，从而降低内存占用和计算需求，同时缩小模型体积，加速推理。      

医院最终选择了以INT4量化显存来部署。如此，仅需一个336GB的显存，32×H100的显卡配置是能够完全满足671B的本地化部署需求。     

「尽管医院投入了大量硬件资源，但由于671B模型的参数量庞大，算力需求极高，仍无法满足全院所有人员的并发使用需求。」张永波坦言，所以医院部署了三种参数，希望让用户能够有序地、基于任务的复杂程度去选择不同的模型版本。

比如简单对话，32B模型版本就能够很好实现，如果涉及到比如数学问题、代码逻辑推理或者复杂的临床诊疗问题时，就需要切换到671B全量参数的模型，让其去做推理。        

（院内人员可基于自己的任务需求，切换不同参数版本模型。）

部署大模型

需防Ollama「裸奔」风险

确定了方略之后，如何进行部署？华南医院是基于Ollama工具，进行DeepSeek的本地化部署。

Ollama是一个用于本地运行和管理大语言模型（LLM）的命令行工具，它不仅集成了很多包括DeepSeekR1在内的开源大模型，提供适用于macOS、Windows 及 Linux等多种平台的安装包，内置了GPU相关驱动，能够让用户在本地环境中轻松部署、运行和监控AI模型。           

「但是Ollama有一个问题，就是满足了速率，牺牲了性能。」张永波坦言，当初华南医院人工智能团队为了能够快速实现部署而使用了Ollama工具，但是后面在开发过程中发现，基于Ollama部署的DeepSeek在高并发量情况下是存在缺陷的，比如说同时50个用户去访问DeepSeek模型，可能会出现系统崩溃问题。  

另一个非常重要的就是安全问题。3月3日，国家网络安全通报中心发布《关于大模型工具Ollama存在安全风险的情况通报》，提醒用户如使用Ollama私有化部署且未修改默认配置，就会存在数据泄露、算力盗取、服务中断等安全风险。  

「由于华南医院采用本地部署方案，且未开放Ollama的访问端口，因此有效规避了潜在的安全风险。」他表示。

在完成本地模型部署后，需要评估当前软硬件环境下的模型效能，定位系统瓶颈，也为后期负载均衡提供数据支持。张永波介绍，具体可以通过延迟、吞吐量、资源利用率、阶梯加压、极限测试等几个方面进行性能基准测试和压力测试。

扫码▽ 即可获取完整回放和思维导图

申请成为讲师、评委，加入主题社群

大模型幻觉问题，即在面对专业性问题时，模型可能给出错误答案甚至编造信息。这一现象源于训练数据偏差和逻辑缺陷等因素。      

在临床医学等对准确性要求极高的领域，克服大模型幻觉至关重要。为此，可以借助Retrieval-Augmented Generation（RAG）技术引入外部知识库，以提升答案的准确性和可靠性。     

RAG可以翻译为「检索增强生成」。这是一种结合了检索和生成的自然语言处理技术，用于提高语言模型在特定任务上的性能和准确性。  

张永波以该院泌尿外科专病知识库及知识图谱的构建举例，通过应用RAG技术，该知识库得以外挂，有效补充了原有训练数据的不足。在解答专业性问题时，系统不仅从知识库中检索并生成答案，还能详细标注答案来源，包括具体文献、临床指南或专家共识，从而显著提升回答的可追溯性和透明度。     

在专病知识库外挂工作中，人工智能团队首先对接专家共识等数据库，经过数据清洗和标注后，将其导入MaxKB框架，并通过接口实现与DeepSeek大模型的对接，最终完成知识库与模型的无缝切换。    

下图展示了华南医院上传的相关专病资源，包括临床指南、专家共识以及最新的科研文章等等。

对于知识数据库需进行定期优化和更新，引入最新的研究成果和临床案例。他介绍，华南医院设定每半个月进行一次数据库更新，优化检索方法、提升检索效率，确保回答的及时性和准确性。   

基于开源的前端框架MaxKB，华南医院智算一体化平台，无缝整合了自身业务和过往AI医院建设成果，同时将本地部署的DeepSeek大模型融入其中。

具体而言，医院搭建了一个前端交互的界面，将前期的数字孪生医院建设以及AI医院建设成果都集中在一体化智算服务平台上。院内的工作人员，不管是临床工作者、科研工作者，还是职能科室工作人员，都可以基于自己的需求选择对应功能进行应用。    

在这个平台上，可以进行对话交互，应用科研助手、医学数据库助手、松鼠大模型，也可以切换数字孪生医院、大数据管理平台等，不同模型参数可实现自由切换。       

下图展示了华南医院智算一体化平台的软件架构图，包括了5个层面，最直观的就是前端交互界面，显示用户登录网页后，可以点击哪些功能模块；应用层体现各功能模块如何去实现，此外还有业务层、数据层等。    

最重要的还是数据层，因为一些功能的开发能够实现，需要包括专病知识库、数据图谱在内的高质量数据作为支撑。   

展望未来，华南医院希望基于智算一体化平台，进一步进行应用扩展。

比如生产率提升工具方面，医院计划打造一个PPT Agent，借鉴人类创作PPT的过程，采用基于编辑的工作流程，将需求以及相关资料传输给AI后，其基于智能体输出完整PPT。      

还将实现自动化数据可视化任务。张永波举例，过往一些临床工作者对于作图工具掌握不够熟悉，在发表论文需要一些高质量图片时可能难以胜任。开发了智能体工具后，医生可将数据输入AI并告知需求，比如出柱状图或者火山图等，AI能够输出高质量的甚至能够满足SCI发表级别的结果图片。         

与此同时，医院希望通过Agent Laboratory，帮助科研工作者完成从文献综述到报告撰写的整个研究过程，解决科学研究过程中时间长、成本高的问题。    

张永波透露，华南医院致力于借助DeepSeek技术打造Agent Hospital，旨在模拟真实医疗环境，使医学智能体在诊疗与学习过程中自主积累知识，实现能力持续进化。   

举例而言，在模拟医院场景中，DeepSeek作为虚拟环境的核心，驱动10名医生智能体与20名患者进行互动，通过迭代优化，医生智能体不断学习、积累医学知识，最终实现功能升级。    

当学习达到预定阶段，这些医生智能体将被导出至临床科室，成为诊疗助手，这是团队正在推进的前沿研究项目。 

作者 | 刘文阳

监制   | 郑宇钧

扫码报名AI讲师

欢迎医院、高校、企业人员报名！

对于公立医院/高校的讲师，有授课奖励！