Як створювали українську велику мовну модель Lapa LLM: інновації та виклики

Представлення моделі та її мета

Lapa LLM v0.1.2 була представлена 27 жовтня 2025 року, як швидка, точна та повністю відкрита українська велика мовна модель. Вона призначена для досліджень і комерційного використання, з акцентом на ефективну обробку україномовного тексту.

Мета мовної моделі — зробити швидку, точну та повністю відкриту українську LLM, придатну для досліджень і комерційного використання.

Модель демонструє стабільну роботу з великими текстами, збереження контексту та точність у відповідях, роблячи її корисною для чатботів, перекладів і аналізу текстів.

Короткий висновок: Lapa LLM — це крок до незалежності України в ШІ, з фокусом на відкритість і практичність.

Команда розробників і основа моделі

Над проєктом працювали науковці з Українського католицького університету (УКУ), Київського політехнічного інституту, Львівської політехніки та Гірничо-металургійної академії у Кракові. Основою стала архітектура Gemma-3-12B від Google, яку адаптували для української мови.

Основою моделі стала архітектура Gemma-3-12B.

Розробники замінили 80 тисяч із 250 тисяч токенів, що покращило обробку тексту, зменшивши обчислення в півтора раза. Це дозволило моделі стати ефективнішою для україномовних завдань.

Короткий висновок: Міжнародна співпраця та адаптація існуючих технологій стали ключем до успіху.

Процес навчання та дані

Навчання проводилося на відкритих українських корпусах текстів, оцінюваних за читабельністю, граматикою та відсутністю дезінформації. На фінальних етапах використовували матеріали Бібліотеки Гарварду. Розробники опублікували вихідний код для тренування та 25 навчальних датасетів на GitHub.

За словами розробників, при створенні Lapa LLM було замінено 80 тисяч із 250 тисяч токенів, завдяки чому обробка україномовного тексту стала ефективнішою — тепер для тих самих завдань потрібно у півтора раза менше обчислень.

Перші 5 датасетів та частину коду вже доступні, а решту обіцяють викласти незабаром. Це робить процес прозорим і відтворюваним.

Короткий висновок: Використання якісних даних забезпечило точність і етичність моделі.

Технічні особливості та продуктивність

Модель базується на оптимізованій архітектурі Gemma, з покращенням швидкості для української мови. Вона обходить оригінальну Gemma та багато закритих моделей у тестах, наближаючись до лідера — MamayLM.

В УКУ кажуть, що за швидкістю роботи з українською нова модель обходить оригінальну Gemma та більшість закритих моделей аналогічного класу.

Lapa LLM підходить для корпоративних асистентів, перекладів і роботи з конфіденційними даними без зовнішніх серверів. У тестах вона показала послідовність у виявленні маніпуляцій.

Короткий висновок: Оптимізації роблять модель конкурентоспроможною на ринку ШІ.

Доступність і майбутні плани

Модель повністю відкрита для комерційного використання, з кодом на GitHub. Розробники планують створити версію для міркування, розширити корпуси для аналізу зображень і програмування.

Далі науковці планують створити міркувальну (reasoning) версію моделі та розширити корпуси для аналізу зображень і програмування.

У версії 1.0 обіцяють перевершити MamayLM. Це частина зусиль Міністерства цифрової трансформації для створення ШІ-інструментів для держави та бізнесу.

Короткий висновок: Відкритість і плани розвитку забезпечують довгостроковий потенціал.

Створення Lapa LLM — це результат співпраці українських науковців, адаптації передових технологій і фокусу на якісних даних. Модель не лише ефективна для української мови, але й відкрита, що сприяє інноваціям. З планами на розширення, Lapa LLM може стати основою для нових ШІ-рішень в Україні, підкреслюючи важливість національних розробок у глобальному контексті.