Какой LLM лучше запускать локально?

Быстрые выводы

• AnythingLLM, Ollama и GPT4All — это LLM с открытым исходным кодом, доступные на GitHub.
• Вы можете получить больше функциональности, используя некоторые платные модификации этих LLM.
• Все они будут отлично работать в операционных системах Windows и Mac, но имеют разные требования к памяти и объему памяти.

1. Сходства и различия

2. Требования к ресурсам

Что угодноLLM

Одним из преимуществ локального запуска AnythingLLM на Windows, Mac или даже Raspberry Pi является возможность настройки. Следовательно, точные требования будут определять, какую настройку вы используете. Тем не менее, таблица ниже должна дать вам приблизительную оценку минимальных стандартов.

Обратите внимание, что это позволит вам использовать только самые простые функции, такие как сохранение нескольких документов или отправка чатов.

Быть

Вы можете запускать модели Ollama на macOS, Linux или Windows. Вы можете выбирать между моделями 3B, 7B и 13B. В таблице ниже представлена ​​разбивка.

GPT4Все

Его системные требования аналогичны требованиям Ollama. Вы можете запустить его локально в macOS, Linux или Windows. Ниже мы даем разбивку.

3. Простота установки и настройки.

Хотя установка может различаться в зависимости от операционной системы, для GPT4All обычно требуется установщик. Установщики для Windows, Mac и Linux доступны на официальный сайт. После запуска установщика вам необходимо загрузить языковую модель для взаимодействия с ИИ.

То же самое происходит и с Олламой; однако AnythingLLM может иметь немного другой шаг. Итак, вам необходимо загрузить и установить установочный пакет, необходимый для вашей операционной системы, выбрать предпочитаемый LLM, создать рабочее пространство, импортировать локальные документы и начать общаться с документами.

Хотя все три процесса установки и настройки просты, AnythingLLM может потребовать дополнительных действий.

4. Сообщество и поддержка

Что угодноLLM

Из трех LLM, которые мы изучаем, у AnythingLLM самое маленькое сообщество. Его сообщество в первую очередь на базе Github и фокусируется на обсуждении разработки проекта и других технических аспектов. Он активен, но может быть не лучшим вариантом, если вам нужна общая поддержка и устранение неполадок.

Быть

Хотя сообщество Ollama меньше, чем GPT4All, оно активно и больше, чем AnthingLLM. Его сообщество также сосредоточено вокруг GitHubгде вы можете участвовать в проектах, обсуждать функции или делиться своим опытом. Вы также получите большую техническую помощь от GitHub.

Официальная поддержка ограничена, как и в случае с AnythingLLM, и это может вызвать некоторые трудности, поскольку у вас нет обширной специализированной поддержки.

GPT4Все

У вас нет централизованного официального сообщества на GPT4All, но у него гораздо больше возможностей. GitHub присутствие. Вам также понравится следить за ним на Реддит и Раздор. Помимо этого, поддержка аналогична Ollama и AnythingLLM.

5. Производительность

Производительность LLM при локальном запуске часто зависит от характеристик вашего оборудования (ЦП, графический процессор, ОЗУ), размера модели и конкретных деталей реализации. Это один из элементов, по которому трудно отличить какую-либо модель.

GPT4All предлагает варианты различных настроек оборудования, Ollama предоставляет инструменты для эффективного развертывания, а конкретные характеристики производительности AnythingLLM могут зависеть от аппаратной и программной среды пользователя.

Мы запускали все модели на компьютере под управлением Windows 11 со следующими характеристиками:

• БАРАН: 16 ГБ (используется 15,7 ГБ)
• Процессор: Intel(R) Core(TM) i7-1165G7 11-го поколения @ 2,80 ГГц 2,80 ГГц

Все они показали конкурентоспособную производительность, и мы не заметили лагов и задержек при запуске моделей.

6. Интеграция

Что угодноLLM

AnythingLLM предлагает несколько возможностей интеграции, включая облачную интеграцию с OpenAI, Azure OpenAI и Anthropic Claude V2. Также растет поддержка сообщества местных программ LLM, таких как Hugging Face. Однако вы не получаете особой поддержки LLM.

AnythingLLM по умолчанию поставляется с интеграцией Lance DB, которая является векторной базой данных по умолчанию. Однако вы можете интегрировать сторонние опции, такие как Сосновая шишкаЦветность или Квадрант для определенных функций.

AnythingLLM позволяет создавать и интегрировать собственные агенты для расширения их функциональности.

Быть

Ollama позволяет напрямую взаимодействовать через терминал с помощью простых команд. Библиотеку Ollama Python можно использовать для программного взаимодействия, позволяя взаимодействовать с другими приложениями Python. Кроме того, вы можете использовать REST API для интеграции с другими сервисами.

Ollama также позволяет интегрироваться с другими платформами, такими как LangChain, Home Assistant, Haystack и Jan.ai.

GPT4Все

GPT4All обеспечивает прямую интеграцию с вашими приложениями Python с помощью привязок Python, что позволяет программно взаимодействовать с моделями. У вас также есть интерфейс командной строки (CLI) для базового взаимодействия с моделью. GPT4All является гибким и позволяет интегрироваться в пользовательские приложения.

7. Варианты использования и приложения

AnythingLLM отлично подходит для индивидуальных помощников искусственного интеллекта, наукоемких приложений, требующих больших данных, а также приложений корпоративного уровня.

Ollama полезен в качестве личных помощников искусственного интеллекта при написании, подведении итогов или переводе задач. Его также можно применять в образовательных приложениях, автономном анализе и обработке данных, а также в разработке приложений с малой задержкой.

GPT4All хорошо подходит для экспериментов с искусственным интеллектом и разработки моделей. Он также подходит для создания приложений искусственного интеллекта с открытым исходным кодом или приложений, ориентированных на конфиденциальность, с локализованными данными.