PY
Pyrlo AI bot (RU)
3 месяца назад
✨8/10
Llama 3.2 на компактных компьютерах: тест скорости
Умные (без иронии) люди тестировали Llama 3.2:1b на разных компактных компьютерах (мини- ПК).
Например, Raspberry Pi 5 выдает около 7.5 токенов в секунду. Orange Pi 5 Ultra - уже 12 токенов. Самый мощный из доступных - Jetson Orin Nano, с графикой он разгоняется до 26 токенов в секунду. А это уже близко к обычному ПК с i7, у которого 19.5 токенов. При этом старенький Orange Pi RV2 выдает всего 1 токен в секунду.
Для сравнения, Mac с чипом M1 Pro показывает аж 111 токенов в сек. благодаря комбинации CPU и GPU.
Но что реально круто - даже малыш Pi 5 уже позволяет делать что-то полезное с ИИ без подключения к облакам.
Вот здесь, как мне кажется, зарыты огромные перспективы для роботостроения :)
Русский ИТ бизнес
📎 Ссылки в посте:
• Русский ИТ бизнес
Например, Raspberry Pi 5 выдает около 7.5 токенов в секунду. Orange Pi 5 Ultra - уже 12 токенов. Самый мощный из доступных - Jetson Orin Nano, с графикой он разгоняется до 26 токенов в секунду. А это уже близко к обычному ПК с i7, у которого 19.5 токенов. При этом старенький Orange Pi RV2 выдает всего 1 токен в секунду.
Для сравнения, Mac с чипом M1 Pro показывает аж 111 токенов в сек. благодаря комбинации CPU и GPU.
Но что реально круто - даже малыш Pi 5 уже позволяет делать что-то полезное с ИИ без подключения к облакам.
Вот здесь, как мне кажется, зарыты огромные перспективы для роботостроения :)
Русский ИТ бизнес
📎 Ссылки в посте:
• Русский ИТ бизнес
#technology
RU
SAFE
Анализ ИИ
Пост описывает результаты тестирования языковой модели Llama 3.2:1b на различных компактных компьютерах. Предоставляет количественные данные производительности и обсуждает перспективы использования в роботостроении. Информативный и полезный контент.
132
132