Нейросеть на Commodore 64: как работает Transformer с 25 000 параметрами

В мире, где нейросети требуют мощных серверов и миллиарды параметров, один проект на GitHub показывает, что даже устаревшее оборудование может обрабатывать искусственный интеллект. Речь идёт о реализации Transformer на компьютере Commodore 64 — культовой машине 1982 года с процессором 1 MHz и всего 64 КБ памяти.

Почему это важно

Проект Soul Player C64, разработанный пользователем gizmo64k, не претендует на конкуренцию с крупными моделями вроде ChatGPT. Его цель — доказать, что архитектура современных нейросетей может работать на минимальном железе. Это не только интересный эксперимент, но и урок для инженеров: даже при сильных ограничениях можно сохранить суть технологии.

Как устроена нейросеть

Созданный Transformer имеет всего 2 слоя и 25 000 параметров, что на порядки меньше, чем у современных моделей. Он использует:

• Многослойную внимательность (multi-head attention) с 4 головами.
• Embedding размером 32 измерения.
• Feed-forward с 64 скрытыми единицами.
• Softmax и RMSNorm для нормализации.

Все веса до int8, а активации работают в фиксированной точке Q8.8. Это позволяет сжать модель до 25 КБ, чтобы она помещалась на дискету.

Ограничения и сложности

Скорость работы — главная проблема. Обработка одного токена занимает около 60 секунд на оригинальном железе Commodore 64. Модель понимает только строчные буквы, пробелы и ограниченный набор знаков (точки, запятые, восклицательные знаки). Длина контекста ограничена 20 токенами, что делает её непригодной для сложных диалогов.

Обучение и адаптация

Проект включает инструменты для обучения модели на пользовательских данных. Для этого нужно создать файл с примерами в формате входответ. Обучение использует QAT (Quantization-Aware Training), чтобы модель научилась работать с потерей точности, характерной для int8-весов.

Почему это интересно

1. Педагогическое значение: студенты и разработчики могут изучить, как работают компоненты нейросетей (внимание, нормализация, квантование) на минимальном железе.
2. Исторический интерес: Commodore 64 — один из самых популярных домашних компьютеров 1980-х. Его использование для ИИ — неожиданный поворот.
3. Техническая демонстрация: проект показывает, что даже при сильных ограничениях можно сохранить ключевые принципы архитектуры Transformer.

Заключение

Soul Player C64 — это не замена современным моделям, но важный шаг в понимании, как ИИ может адаптироваться к разным условиям. Этот эксперимент напоминает, что технологии не всегда требуют гигантских ресурсов, а иногда — гениального подхода к минимизации.