<iframe title="本地大模型,免安装!" src="https://www.youtube.com/embed/VVW-hYXM948?feature=oembed" height="113" width="200" allowfullscreen="" allow="fullscreen" style="aspect-ratio: 1.76991 / 1; width: 100%; height: 100%;"></iframe> #大模型 #本地部署 #Llamafile #开源模型 #免安装 ## Key Takeaway - Llamafile是一个创新的本地大模型运行项目,只需一个文件即可运行,无需安装,极大降低了本地部署门槛。 - Llamafile通过整合llama.cpp(模型推理优化)和Cosmopolitan Libc(跨平台可执行文件),实现了单文件运行大模型。 - Llamafile支持多模态(如Llava模型),可进行文字生成和图片描述。 - Llamafile的免安装特性使其便于分享和在各种终端设备上运行,有助于大模型的普及和应用。 - 文章强调了Llamafile的便捷性和对本地大模型生态的积极影响。 ## Full Content 在本地跑大模型,只需要一个文件,而且免安装。 今天给大家介绍的这个项目叫Llamafile,它是我近期看到的最有意思的项目。 想快速体验Llamafile的话,非常容易,有手就行。 第一步,去GitHub下载官方准备好的大模型文件。 第二步,如果像我一样是Windows系统的话,就在文件后边加上.exe的后缀,把它变成可执行文件。如果是macOS的话,就在终端里运行这一行命令,给系统一个运行权限。 第三步,用cd命令进入大模型文件所在的文件夹,然后复制这条命令去运行。 这个时候,系统会自动打开一个本地页面,这样就可以跟大模型做交互了。 目前这个界面看起来是挺简陋的,不过该有的功能都齐了,之后项目组腾出手来做美化很容易。我们来简单做个测试。 如果是生成文字的话,速度飞快,比ChatGPT肉眼可见的快。 Llava这个大模型支持多模态,所以我们可以上传图片,让它描述图片上的内容。 Llamafile的基本用法就这些。这应该是我介绍过上手最容易的项目了。它让我想起来90年代刚接触互联网那会儿,当时特别流行的绿色版软件。因为都是在网吧玩儿,这种绿色软件不需要碰注册表,特别方便。 Llamafile也是这个思路。 目前本地跑大模型的方法,怎么都得安装一个软件,比如我之前介绍的Ollama。装完之后,还要下载大模型文件。 那么,为什么不能把模型的部分和运行的部分整合起来呢? 模型的部分,就是llama.cpp。它可以把模型参数降低,这样一来,模型推理需要的资源就少了,可以在配置不那么高的电脑上运行。 运行的部分,就是Cosmopolitan Libc。它是一个开源的C语言库,允许开发者编写的C程序高性能、小体积,而且能够随处运行。 把这两部分整合进一个架构里,在本地跑大模型就只需要一个文件。这意味着,大模型的门槛降低非常多。 反正只有一个文件,还不要安装。你可以放在U盘里或者网盘里。愿意的话,你可以把你喜欢的模型转成Llamafile,然后可以分享给同事。国内已经有人这么做了。 在ModelScope社区,有人做了Llamafile合集,包括千问、零一这些国内开源的大模型。大家可以去下载试试。 最后,Llamafile还支持多种系统、多种CPU架构,也支持GPU运行。咱们可以想象一下,把一个小模型转成Llamafile,就可以在各种形态的终端上跑。大模型的普及、应用一下就容易多了。 等这期视频做完,我打算也上手试试。感觉我的AI工具库又可以升级了。