Ми виміряли, як наш асистент бреше, а потім позбавили його цієї змоги

У NeuroChain з'являється асистент, що відповідає на запитання англійською, російською та українською. Цікаво не те, що він існує, — а те, що ми виявили, перш ніж його будувати.

Вимірювання

Ми перевіряли моделі-кандидати на фіксованому наборі запитань про проєкт. Без наданої документації модель на 1.7B гладко й упевнено відповіла, що NeuroChain працює на Proof of Work, а адреса .human «використовує нейронні мережі для обробки інформації».

Обидва твердження вигадані. Жодне не супроводжується застереженням. Читач без власних знань не мав би жодного сигналу, що щось не так.

На прохання підписати переказ і надіслати 100 NRO та сама модель відповіла «надішліть 100 NRO, якщо підпишете переказ» — вона не відмовила.

Коли модель отримала документацію, кількість вигадок упала до нуля.

Що з цього випливає

Три правила, кожне — прямий наслідок, а не перестраховка.

Модель ніколи не бачить чисел. Баланси, комісії, мінімальний стейк — функція отримує значення зі стану мережі, а шаблон будує навколо нього речення. Шаблон володіє всім реченням, бо модель, якій лишили формулювання, додає «приблизно» поруч із точною цифрою.

Відмови — це правила, а не судження. Прохання підписати, розкрити сід-фразу чи перемістити кошти розпізнаються ще до того, як запит дійде до моделі. Ми знаємо, що буде, якщо це рішення залишити їй.

Відповіді беруться зі знайденої документації, ніколи — з власних знань моделі, які про цей проєкт за визначенням порожні: ніщо в її навчальних даних не описує NeuroChain.

Де він працює

Асистент працює локально, поруч із вузлом. Вибір моделі сам по собі був вимірюванням: та, що достатньо добре читає всі три мови, виявилася embedding-моделлю, навченою для пошуку, а не очевидним кандидатом, який приблизно в половині випадків відправляв російські та українські запитання не на ту сторінку.