GPT4All 文档

GPT4All 在日常台式机和笔记本电脑上私密运行大型语言模型 (LLMs)。

无需 API 调用或 GPU - 您只需下载应用程序并开始使用。

桌面应用程序

GPT4All 在您的计算机上作为应用程序运行 LLMs。Nomic 的嵌入模型可以将您本地文档和文件中的信息带入您的聊天中。它快速、在设备上运行，且完全私密。

下载 Windows 版      下载 Mac 版      下载 Linux 版

Python SDK

在 Python 中使用 GPT4All，通过 llama.cpp 后端和 Nomic 的 C 后端实现的 LLMs 进行编程。Nomic 为 llama.cpp 等开源软件做出贡献，使 LLMs 对所有人都可访问和高效。

pip install gpt4all

from gpt4all import GPT4All
model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf") # downloads / loads a 4.66GB LLM
with model.chat_session():
    print(model.generate("How can I run LLMs efficiently on my laptop?", max_tokens=1024))