Skip to content

私有化部署

AgentCraft私有化部署方案

随着智能化心智的深入,越来越多的企业开始积极参与智能化的转型,因为一些条件限制,很多企业希望能够完全私有化智能工程的建设,从基础模型,算力算法到上层的AI应用,本篇文章介绍如何将AgentCraft这个智能体平台进行私有化的部署。

介绍AgentCraft的工程组成

介绍一AgentCraft的工程化组成,这样可以清晰的了解各组件。简单理解AgentCraft由一个核心服务工程,和多个扩展组成(这里把前端的管控工程也可以作为一种扩展)

AC框架

上图中橙色部分是云耦合的部分,即数据库部分和模型的计算运行时,钉钉的连接稍微有些特殊,使用了 FC+EB的架构完成钉钉的通道。

私有化改造

有了上述的整体架构,改造思路就清晰的一些,接下来提供两种私有化的方案

公共云混合

核心的数据模型部分私有化部署,扩展算力部分继续使用阿里云公共云,这种方案的成本最低,只需要替换一下云上的RDS Postgresql数据库即可,这种模式跟本地化开发AgentCraft类似 AC框架

如上图,可以把数据库服务和运行时内核和管控服务私有化部署,通过阿里云的ak,sk配置继续调用公共云的无状态计算,当然基础模型的私有化部署部分也可以放到本地,公共云保留一些ai 平台的代理服务,用来试用调试更加划算。

完全私有化

包含,执行工具,客户端连接,基础模型服务,全部私有化,您将有以下的工作量

  • 需要将扩展的函数工具内置到agent 运行时,包括工具函数本身和调用方式都需要调整

  • 基础模型的本地化,这个部分如果您对多LLM的切换诉求不强可以暂时省略

  • 客户端连接,需要对钉钉部分的连接进行改进,重写连接钉钉的服务以及对接编排好的本地Agent服务

综上,如何私有化请根据实际情况来, AgentCraft本身是面向公共云的Serverless架构设计,私有化部署后关于Serverless架构的相关优势也会失去,关于这点也请考虑进去。