使用开源模型搭建本地聊天机器人,不仅可以实现自主可控,还能保证隐私安全。Jan是一个非常出色的开源工具,能轻松在本地电脑上搭建ChatGPT等聊天机器人。
Jan是完全开源的,代码在GitHub上公开,可以自由下载、修改。它跨平台支持Mac M1/M2/M3芯片、Windows、Linux系统。Jan的优势在于极大简化了搭建流程,一键安装就可以使用。它内置了诸如GPT-3.5、GPT-4等开源模型,也支持连接OpenAI等API接口。用户可以安装多个模型,自由切换使用。
Jan的用户界面非常简洁直观,和ChatGPT极为相似,输入输出条分离,支持多窗口聊天。在不联网的情况下,完全依靠本地GPU计算,保证了数据安全。相比商业系统,Jan使用开源模型的输出质量也足够接近。当前支持的开源模型包括Mixoll-8X-7B、LLaMA-7B等,已可与GPT-3.5媲美。未来随着更强大开源模型的出现,Jan也会持续优化。
