文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

使用LM Studio在本地运行LLM完整教程

2024-11-30 03:42

关注
  1. 脱机:不需要互联网连接。
  2. 模型访问:在本地运行模型,可以尝试开源模型(Llama 2、Vicuna、Mistral、OpenOrca等等)。
  3. 隐私:当在本地运行模型时,没有信息被传输到云。尽管在使用GPT-4、Bard和claude 2等基于云的模型时,隐私问题可能被夸大了,但在本地运行模型可以避免任何问题。
  4. 实验:如果你看到了生成人工智能的价值,可以通过测试了解模型的细节并知道还有什么可用。
  5. 成本:开源模型是免费的,其中一些可以不受限制地用于商业。

对许多人来说,运行本地LLM需要一点计算机知识,因为它通常需要在命令提示符中运行它们,或者使用更复杂的web工具,如Oobabooga。

LM Studio是一个免费的桌面软件工具,它使得安装和使用开源LLM模型非常容易。

但是请记住,LM Studio并不开源,只是免费使用

但是LM Studio是我目前见到最好用,也是最简单的本地测试工具,所以如果是本机测试使用的话还是推荐试一试他。

首先进入“lmstudio.ai”,下载并安装适合操作系统的版本:

LM Studio,选择要安装的LLM。

可以通过选择主窗口中列出的社区建议模型之一来实现进行,也可以使用HuggingFace上可用的任何模型的搜索栏查找关键字。

模型搜索列表中可以看到安装/下载文件的大小。请确保下载的大小没有问题。(国内需要魔法)

在屏幕左上角的发布日期栏,是“compatibility guess”。LM Studio已经检查了本地系统,并展示它认为可以在计算机上运行的那些模型。要查看所有模型,点击“compatibility guess”(#1)。点击左边的一个模型,右边就会显示可用的版本,并显示那些根据你的电脑规格应该可以工作的模型(#2)。见下图:

根据计算机的能力/速度,较大的模型将更准确,但速度较慢。并且这个鞋模型中的大多数都是量化的,包含了GGML和GGUF等格式。(具体这些格式可以参考我们以前的文章)

模型下载完成后,(1)在窗口顶部的下拉菜单中选择模型;(2)选择左侧栏中的聊天气泡;(3)打开右侧的“Context Overflow Policy”和“Chat Appearance”。

确保在“Context Overflow Policy”下选择“Maintain a rolling window and truncate past messages”,并在“Chat Appearance”下选择“Plaintext”。

打开“Model Configuration”,然后打开“Prompt Format”,向下滚动到“Pre-prompt / System prompt”,选择“>”符号打开。可以在这里输入系统“role”。也就是说可以设定希望机器人如何行动,以及在它的回答中应该提供什么“技能”或其他特定的品质。这与ChatGPT Plus帐户的“Custom instructions”相同。

继续向下滚动,找到“Hardware Settings”。默认设置是计算机的CPU完成所有工作,但如果安装了GPU,将在这里看到它。如果GPU显存不够,可以将GPU想要处理多少层(从10-20开始)这会将一部分层使用GPU处理,这与llama.cpp的参数是一样的。还可以选择增加LLM使用的CPU线程数。默认值是4。这个也是需要根据本地计算机进行设置。

完成这些更改后,就可以使用本地LLM了。只需在“USER”字段中输入查询,LLM将响应为“AI”。

可以看到LM Studio提供了极好的体验,为ChatGPT提供了一个很好的本地替代方案。LM Studio提供了一种使用OpenAI兼容接口来提供模型的方便方法,这简化了与使用OpenAI作为后端的客户端的集成。

如果你正在寻找一种快速简便的方法来设置和使用具有不同开源模型的聊天或服务器供个人使用,LM Studio是一个很好的起点。


来源:DeepHub IMBA内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯