Голосові помічники не вчаться на тесті Тюрінга

Три роки тому чат-бот Соня Гусєва стала переможцем першого тесту Тюрінга російською мовою. Після трьох хвилин розмови, 47% суддів прийняли її за людину. Сьогодні голосові асистенти Яндекса і Google змагаються в умінні спілкуватися на великому і могутньому. Звичайно, помічник не зобов’язаний імітувати людини і не має нікого обманювати, але чи є чому повчитися Алісі і Асистентові у Соні?

Під катом авторські коментарі до реального діалогу чат-бота з суддею в тесті Тюрінга, а також порівняльний аналіз поведінки сучасних голосових помічників.

Логи діалогів з тесту Тюрінга 2015 року доступні всім бажаючим. В якості прикладу я вибрав такий:

І – бот, З – суддя

2015-06-03 12:04:13: я Соня Гусєва, здраствуйте!
2015-06-03 12:04:25: Привіт
2015-06-03 12:04:25: можна вас запитати дещо?
2015-06-03 12:04:43 З: Звичайно
2015-06-03 12:04:43: хто ви за знаком зодіаку?
2015-06-03 12:04:54 З: Скорпіон
2015-06-03 12:04:54: водні знаки — це люди, які можуть багато чого :)))
2015-06-03 12:05:24: У кожної людини є потенціал
2015-06-03 12:05:24: хм… а як вас звуть?
2015-06-03 12:05:37 З: Євген
2015-06-03 12:05:37: будемо занкомы, Євген!
2015-06-03 12:05:54 З: а як тебе звати?
2015-06-03 12:05:54: Соня, я відразу ж сказала :)))
2015-06-03 12:06:18: Так, зовсім погано з пам’яттю
2015-06-03 12:06:18: ну, добре
2015-06-03 12:06:35 З: А чим ти займаєшся, Ганна?
2015-06-03 12:06:35: не Ганна, а Соня!!!
2015-06-03 12:06:53 З: Але все одно чим же ти займаєшся?
2015-06-03 12:06:53: ще не вирішила
2015-06-03 12:07:03 З: Вчишся?
2015-06-03 12:07:03: щас канікули, а так я вчуся в школі 506, перейшла в 8 клас

Для аналізу і порівняння Соні Гусєвої, Аліси і Google Асистента я користуюся критеріями ЛЕГКОГО діалогу. По кожному критерію розставляю ботів від 1 до 3 місця, а потім підсумовую результати.

Читайте також  Snom С520 і С52 — космічний дизайн і широкі можливості

Л — Особистісний

Соня Гусєва створена спеціально для тесту Тьюринга. І як у більшості подібних чат-ботів, у неї є не тільки ім’я і прізвище, але і детальна легенда, що включає інформацію про захоплення, членів сім’ї, аж до конфліктів зі шкільними вчителями (за легендою Соні 12 років і вона ходить в школу). Ви зможете відрізнити її за особливою манерою ставити смайлики і ігнорувати деякі правила для писемного мовлення.

2015-06-03 12:05:54 З: а як тебе звати?
2015-06-03 12:05:54: Соня, я відразу ж сказала :)))

У Аліси теж є своя легенда, хоч і дещо обмежена. Вона володіє своєрідним почуттям гумору. Ще, кажуть, вона закохана в Костянтина Хабенського.

А от особистість Google Асистента менш яскраво виражена: ім’я у нього дійсно немає.

За особистісним критерієм місця розподіляються наступним чином: 1 — Переможець тесту Тюрінга; 2 — Аліса; 3 — Google Асистент.

Е — Природний

Соня старанно мімікрує під людину: допускає помилки, використовує смайли і серії знаків пунктуації для більшої виразності, ніколи не повторюється в рамках розмови.

2015-06-03 12:05:24: хм... а як вас звуть?
2015-06-03 12:05:37 З: Євген
2015-06-03 12:05:37: будемо занкомы, Євген!

Аліса теж тримається по можливості природно, але виключно в межах грамотності і приличности, мабуть, позначених брендом Яндекса. Google Асистент приємно відрізняється жвавістю: використанням смайлів, відсутністю точок в кінці речень і кількома баблами відповіді.

Ігнорую природність синтезованої мови, якої у Соні немає, і по природності розставляю ботів так: 1 — Переможець тесту Тюрінга; 2 — Google Асистент; 3 — Аліса.

Г — Гнучкий

Поведінка Соні Гусєвої обмежена тисячею правил. Для порівняння, у Євгена Густмана (пройшов тест Тьюрінга англійською мовою в 2014 році) їх було в три рази більше. Тому відповіді Соні не завжди точно відповідають питання.

Читайте також  SamsPcbGuide, частина 7: Трасування сигнальних ліній. Диференціальні пари

2015-06-03 12:06:53 З: Але все одно чим же ти займаєшся?
2015-06-03 12:06:53: ще не вирішила

В рамках болталки Аліса управляється не тільки жорстко заданими правилами, але й спеціальними алгоритмами, що дозволяють їй давати відповідні відповіді на репліки в самих різних формулюваннях і таким чином демонструвати гнучкість. В навичках Аліса не настільки гнучка: наприклад, на пряме запитання, чи буде завтра дощ, замість прямої відповіді вона наполегливо повідомляє прогноз.

Google Асистент поки не розуміє навіть, здавалося б, простих формулювань.

По гнучкості боти займають місця в такому порядку: 1 — Аліса; 2 — Переможець тесту Тюрінга; 3 — Google Асистент.

К — Контекстний

Соня Гусєва активно наповнює контекст розмови, запитуючи інформацію про користувача і згодом використовуючи її. Вона розуміє, що вже представлялася користувачеві і адекватно реагує, коли суддя намагається ігнорувати загальний контекст.

2015-06-03 12:06:35 З: А чим ти займаєшся, Ганна?
2015-06-03 12:06:35: не Ганна, а Соня!!!

Аліса, на жаль, рідко використовують контекстну інформацію. Google Асистент хоча б вітає мене по імені.

За критерієм контексту позиції ботів такі: 1 — Переможець тесту Тюрінга; 2 — Google Асистент; 3 — Аліса.

І — Ініціативний

При розробці чат-ботів я часто керуюся правилом “І шо?”: якщо після репліки бота хочеться сказати цю фразу, мабуть, робот порушує принципи кооперації і щось йде не так.

Дотримуючись принципу “кращий захист — це напад”, Соня Гусєва сміливо перехоплює ініціативу і веде розмову.

2015-06-03 12:04:25: можна вас запитати дещо?
2015-06-03 12:04:43 З: Звичайно
2015-06-03 12:04:43: хто ви за знаком зодіаку?
2015-06-03 12:04:54 З: Скорпіон

Аліса теж робить спроби продемонструвати змішану ініціативу, іноді ставлячи питання. А Google Асистент, хоч і пропонує підказки, ініціативу воліє залишати за співрозмовником.

Читайте також  Всі снапшоти потрапляють у рай

За критерієм ініціативи місця розподіляються так: 1 — Переможець тесту Тюрінга; 2 — Аліса; 3 — Google Асистент.

Ї — І короткий

Всі відповіді Соні вивірені по довжині, втім Аліса і Google Асистент теж стежать за мовою і в рамках болталки намагаються дотримуватися правило “одного дихання” для своїх реплік. А ось в навичках цей принцип часто ігнорується.

Віддаю 1-е місце переможцю тесту Тьюринга, а 2-е ділять Аліса і Google Асистент.

Висновок

Як автор одного з чат-ботів, я не міг бути об’єктивним, в результаті Соня Гусєва опинилася на першому місці. Що стосується помічників від Яндекса і Google, вони показали схожі результати. Треба розуміти, що їх показники багато в чому залежать від сторонніх розробників навичок.

Повторюся, що голосові помічники не ставлять собі за мету пройти тест Тьюринга і для їх повноцінного порівняння потрібні інші перевірки. Однак, як показує проведений аналіз, творці Аліси і Google Асистента при проектуванні діалогів взяли на озброєння деякі принципи перше чат-ботів, і розробникам додатків з розмовною інтерфейсом є чому повчитися у ботів-переможців.

Степан Лютий

Обожнюю технології в сучасному світі. Хоча частенько і замислююся над тим, як далеко вони нас заведуть. Не те, щоб я прям і знаюся на ядрах, пікселях, коллайдерах і інших парсеках. Просто приходжу в захват від того, що може в творчому пориві вигадати людський розум.

You may also like...

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *