Рішення з доказами
Чому ми не використовуємо ШІ
Кожен браузер тепер має вбудовану універсальну модель ШІ, і найочевидніша ідея — доручити їй визначати, якою мовою написана сторінка. Ми це зробили, перевірили на 422 справжніх фрагментах тексту — статтях з Вікіпедії та написаних людьми реченнях, а не на власних вигаданих прикладах, — і викинули. Модель помилялася частіше за нудний код, який мала замінити, і помилялася саме там, де найдошкульніше: приховувала українське.
Спершу — що насправді працює в Моварі
Ми не вдаватимемо, що в Моварі немає машинного навчання: таку заяву легко зробити, але вона була б неправдою. Мовар читає літери та слова, щоб зрозуміти мову, і в цьому йому допомагають дві невеликі програми. Жодна з них не пише, не переписує, не переказує і не розмірковує про зміст сторінки. Жодна нічого нікуди не надсилає.
- Власний визначник мови вашого браузера — маленька модель, яку Chrome та Edge вже мають для свого перекладача. Мовар користується ним лише тоді, коли він у вас уже є, і ніколи не запускає завантаження.
- Статистичний визначник franc, який рахує буквосполучення. Відкритий код, без файлу моделі, однаковий у кожному браузері — саме він тримає Firefox і Safari.
- Набір написаних вручну правил української та російської орфографії: і, ї, є, ґ проти ы, ё, ъ, э. Нудно, швидко, і його неможливо переконати змінити думку.
01
ШІ читає, про що сторінка, а не якою вона мовою
Це і є головна причина. Усе інше — лише ціна.
- Українські медіа постійно пишуть про Росію. Російські медіа постійно пишуть про Україну. Тому ми перевірили саме це: українські статті про Москву та російські статті про Київ, узяті з Вікіпедії, а не написані нами.
- ШІ назвав 66% українських сторінок російськими. Якби Мовар йому довірився, він приховав би дві третини українських статей про Росію від людей, які встановили Мовар, щоб читати українською.
- У зворотному напрямку він назвав 56% російських сторінок українськими — тобто пропускав саме те, що мав ловити.
- Маленький визначник, яким Мовар користується насправді, не приховав жодної. Нуль із пʼятдесяти.
- Помилку видно й без жодних хитрощів. Дайте ШІ абзац звичайного англійського тексту, у якому згадано «українського музиканта» й «українську народну музику», — і він відповість: українська. Він не визначає мову. Він відповідає на питання «про що це?» — а для Мовара це різні питання.
02
Ми спробували виправити це промптом — стало гірше
Звична відповідь на погану поведінку моделі — кращий промпт. Ми пробували двічі.
- Ми прямо вказали їй не зважати на тему: текст про Україну може бути написаний російською, і предмет розмови не має значення. Вона все одно судила за темою.
- Тоді ми показали їй чотири готові приклади, два з них — саме ця пастка, з написаною правильною відповіддю. Точність упала ще нижче: з 39% до 32% на довгих сторінках і з 21% до 13% на коротких.
- З цими прикладами вона відповіла «українська» 46 разів і «російська» 49 разів на наборі, де було 45 російських і 50 українських сторінок. Це підкидання монети, тільки складніше.
- Обмеження вибору лише двома варіантами — українська або російська — теж не допомогло. Це змінило форму відповіді, а не якість судження.
03
Він просто помилявся частіше — усюди
Це не компроміс, а чистий програш у кожній категорії сторінок, які ми перевіряли.
- На всіх 422 фрагментах: 70% правильних відповідей у ШІ проти 93% у того, що Мовар має сьогодні.
- На повних текстах статей — саме там, де мовна модель мала б сяяти, — 84% проти 100%.
- У порівнянні фрагмент за фрагментом ШІ мав рацію там, де інші помилялися, 15 разів — і помилявся там, де інші мали рацію, 112 разів.
- Усі його типові помилки — усередині пари, з якою працює Мовар: українську прийнято за російську, російську за українську, білоруську за будь-яку з двох.
04
Сторінки завантажувалися б повільніше
Мовар мусить вирішити, перш ніж ви побачите сторінку. ШІ не встигає.
- Мовар відводить на все мовне рішення 150 мілісекунд, бо воно відбувається під час завантаження сторінки — і ви на нього чекаєте.
- ШІ витрачав близько 0,4 секунди на одну перевірку в тій конфігурації, яку довелося б випускати, і 1,1 секунди на найповільніших. Жоден із 422 фрагментів не вклався в бюджет.
- Найгірше з першою сторінкою після запуску браузера: моделі потрібно приблизно 22 секунди, щоб «прокинутися», перш ніж вона взагалі щось відповість.
- Те, чим Мовар користується сьогодні, обробляє повну сторінку приблизно за 20 мілісекунд, а короткий текст — менш ніж за одну.
05
Батарея сідала б швидше
Модель на кілька гігабайтів працює на вашій відеокарті. Це не безкоштовно — і платите ви за кожну відкриту сторінку.
- Ми виміряли роботу: 40 мовних рішень коштували 22 секунди процесорного часу — приблизно пів секунди обчислень на кожну окрему сторінку.
- Маленький визначник, яким користується Мовар, коштує десь одну сорокову від цього. Тобто ШІ щонайменше у 25 разів дорожчий на сторінку — і це нижня межа: тут не враховано енергію, яку спалює відеокарта.
- Мовар працює на ноутбуках і телефонах. Пів секунди важких обчислень на сторінку — це тепліший корпус, гучніший вентилятор і батарея, що сідає швидше, — і так на кожному переході, поки розширення встановлене.
- Сам файл моделі займає близько 4 ГБ на диску, і він мусить там лежати.
06
Майже ніхто з вас однаково не зміг би цим скористатися
Апаратні вимоги браузерного ШІ читаються як опис ігрового компʼютера.
- Потрібен настільний компʼютер: Windows 10 або 11, macOS 13 чи новіша, Linux або ChromeOS. Підтримки телефонів і планшетів немає взагалі.
- Потрібно понад 4 ГБ відеопамʼяті, 16 ГБ оперативної памʼяті та 22 ГБ вільного місця на диску — ще до того, як модель почне завантажуватися.
- Він існує лише в Chrome та Edge. У Firefox і Safari нічого схожого немає — а це саме ті браузери, де Мовар найбільше спирається на резервний визначник.
- Робити ключову функцію, яку більшість людей ніколи не зможе запустити, означає випускати два продукти й тестувати лише один.
07
І він порушив би тишу
Мовар нічого й нікуди не надсилає. Додати ШІ означало б ризикувати цим без жодної вигоди.
- Браузерний ШІ справді працює на вашій машині — ми не звинувачуємо його у шпигуванні. Але він приходить як завантаження на кілька гігабайтів, а Мовар зараз не робить жодного мережевого запиту. Ця тиша — обіцянка, яку ми радше дотримаємо, ніж обкладемо застереженнями.
- З тієї самої причини Мовар не перекладає російське українською, хоч ваш браузер це вміє. Машинний переклад читається як природна українська — і тихо відмиває саме те, від чого ви встановили Мовар.
Що змінило б нашу думку
Це вимірювання, а не принципова позиція щодо ШІ, — тож його можна скасувати кращим вимірюванням. Ми повернемося до цього питання, коли зʼявиться браузерна модель, що помиляється на українських текстах про Росію менш ніж у 5% випадків, вкладається в бюджет 150 мілісекунд і потребує щонайбільше вдвічі більше обчислень, ніж маленький визначник. Усі три умови, на тому самому наборі — включно зі сторінками, де тема й мова розходяться, бо саме цей тест зламав кожну версію, яку ми пробували.
Прочитати повністю
Повне рішення — набір даних, усі таблиці, каталог промахів моделі й три сторонні помилки, які цей тест виявив у нашому власному коді, — записане в репозиторії, у тому самому форматі, що й кожне наше архітектурне рішення. Воно публічне, бо з цифрами має бути можна сперечатися.