模型部署的三种方式优缺点云部署优点前期成本低部署维护简单弹性扩展全球访问缺点数据隐私网络依赖长期成本高本地部署优点数据安全不依赖外部网络长期成本低高度定制缺点初始成本高维护复杂部署周期长开放API优点前期成本极低无需部署无需维护全球访问缺点数据隐私网络依赖长期成本高定制限制各大平台云部署国内知名的云服务平台都提供了全球知名的大模型的私有部署功能甚至还提供了这些模型的API开放平台无需部署就能访问。以下是国内主流云服务平台的大模型部署与API服务对比云平台公司地址阿里百炼阿里巴巴大模型服务平台百炼控制台腾讯TI平台腾讯腾讯云TI平台 _机器学习平台_全栈式人工智能开发服务平台-腾讯云干帆平台百度百度智能云-登录SiliconCloud硅基流动硅基流动 SiliconFlow - 致力于成为全球领先的 AI 能力提供商火山方舟-火山引擎字节跳动https://www.volcengine.com/product/ark本地模型部署本地部署最简单的一种方案就是使用ollama官网地址:https://ollama.com打开官网需要下载安装 ollama, 找到官网的 Models 导航菜单里面可以选择模型如deepseekollama默认安装目录是盘的用户目录如果不希望安装在C盘的话(其实C盘如果足够大放C盘也没事)就不能直接双击安装了。需要通过命令行安装。命令行安装方式在ollamaSetup,exe所在目录打开cmd命令行然后命令如下ollamasetup.exe /DIR你要安装的路径之后会直接弹出安装点击Install安装成功后效果如下直接退出Ollama还需配置环境变量复制转移大模型存储目录进入C盘--用户--电脑名称--.ollama--复制整个models到刚刚上面新建的存储目录下可以放在ollama的开发工具上也可以单独放我这里放在开放工具中。复制完成后删除C盘目录下的models文件夹。将c盘.ollama目录下的models移动到当前安装ollama目录下。配置环境变量安装完成后还需要配置一个环境变量设置存放模型的位置(models目录内的路径)。环境变量如下:变量名OLLAMA_MODELS变量值D:\programeSoftware\Ollama\modles注意改为自己真实安装Ollama的目录下可以看到ollama.exe的目录修改环境变量后重启电脑至此开发工具就算安装好了。开发好以后ollama会自行在我们电脑后台运行我们直接通过cmd命令窗口执行一些操作。如需要查看ollama的帮助命令ollama --help因为有一个模型有多个版本所以我们打开ollama的官网找到我们需要的模型版本查看运行命令。每个模型下又有很多版本其中大模型后面的xxb表示大模型的参数b是billion十亿的缩写是衡量模型规模和复杂度的核心指标参数越多学习能力越强。当然所需要的算力要求也越高。直接复制命令到命令窗口运行第一次运行需要下载模型等待片刻即可。