Приложение Ollama, предназначенное для локального запуска моделей искусственного интеллекта на устройствах с операционными системами Windows, macOS и Linux, теперь поддерживает аппаратное ускорение на новых процессорах Apple M5.
В отличие от облачных сервисов, таких как ChatGPT, которые требуют постоянного подключения к интернету и не позволяют запускать модели локально, Ollama предоставляет возможность загружать и запускать ИИ-модели прямо на персональных компьютерах. Множество открытых моделей доступны для свободного скачивания через различные платформы и сообщества, а также напрямую от разработчиков.
Однако запуск таких моделей на локальных устройствах часто осложняется значительными требованиями к оперативной и видеопамяти. Чтобы решить эту проблему, в версии 0.19 Ollama интегрировали поддержку фреймворка машинного обучения MLX от Apple и её унифицированной архитектуры памяти. Это позволило значительно повысить скорость работы приложения на компьютерах с чипами Apple M5, M5 Pro и M5 Max.
Теперь Ollama 0.19 использует нейроускорители, встроенные в эти процессоры, что сокращает время отклика и ускоряет генерацию токенов. Благодаря этому быстрее работают как персональные ИИ-ассистенты, например OpenClaw, так и специализированные модели — OpenCode, Anthropic Claude Code и OpenAI Codex.
Стоит отметить, что для корректной работы требуется минимум 32 Гбайт унифицированной памяти на устройстве, что ограничивает использование аппаратного ускорения на более скромных конфигурациях. Тем не менее, обновление существенно расширяет возможности локального запуска ИИ и улучшает производительность на новейших Mac с процессорами Apple M5.