部署方式:本地AI部署在用户的设备上,无需依赖网络连接;在线AI则通过互联网访问,由第三方提供商托管。
数据隐私:本地AI在用户的设备上处理数据,用户对数据有更高的控制权,隐私保护更好;在线AI的数据存储在云端,可能存在隐私风险。
1.安装LM Studio
打开官网:LM Studio - Local AI on your computer下载LM Studio
下载完后安装

建议安装c盘以外

安装完成后运行

2.更改软件源
如果你有外网环境可跳过
vscode官网:Visual Studio Code - The open source AI code editor
先退出LM Studio

桌面右键LM Studio(打开文件所在位置)

用vscode打开该文件夹
第一次打开需要信任


搜索huggingface.co 替换为 hf-mirror.com
全部替换

等一会,文件全部自动保存
启动软件

下载模型
找到模型并下载(不一定跟我一样)

3.运行模型
选择模型

点击后加载完成就可以用了
4.远程调用


加载模型

去里面创建token

有公网用户直接IP:端口/nat转发
无公网用户用frp