Як використовувати “Tobii Eye Tracker 4C” для спілкування з дитиною, яка не може говорити і рухатися (СМА, ДЦП, БАС)

В основі методики лежить відстеження напрямку погляду, яке здійснює пристрій “Tobii Eye Tracker 4C”. На екран комп’ютера виводиться таблиця з кількома картинками. Якщо затримати погляд на окремій картинці, то буде озвучена відповідна їй фраза, наприклад, «пити», «повернути на бік», «дивитися мультики».

Коли дитина вивчить букви, можна буде використовувати більш складні методи, на зразок набору тексту очима.

Що потрібно (в двох словах)?

  1. комп’ютер
  2. айтрекер — пристрій відстеження напрямку погляду
  3. безкоштовне програмне забезпечення (від автора статті)

 

Зміст

Як це працює?

Детальна інструкція
1. Вибір комп’ютера
2. Пристрій Tobii Eye Tracker 4C
2.1 Кріплення на монітор айтрекера
3. Установка програмного забезпечення
3.1. Здобути файл TobiiGazeCore32.dll версії 4.1.3.938 або більш новий
3.2. Установка драйверів і калібрування
3.3. Установка Microsoft Visual C++ Redistributable for Visual Studio 2012 Update 4″
3.4. Встановлення та налаштування програмного забезпечення (від автора статті)
3.4.1. Налаштування програми для роботи в режимі таблиці
4. Використання програми
5. Як змінити вміст таблиці

А можна замість цього купити готову систему від відомого виробника?
Вітання та подяки

Як це працює?

Відео, що ілюструє роботу програми:

Віолетта вчиться працювати з програмою:

Віолетта вередує і каже «Ні!» за допомогою програми:

Якщо у вас немає айтрекера, ви все одно зможете оцінити роботу програми, так як вона може працювати також з будь-яким пристроєм, що переміщує курсор миші по екрану. Керуєте мишею по екрану так, як ви б переміщали свій погляд. Зупиняйте курсор на картинках (нічого натискати не треба), — це буде відповідати фіксації погляду на картинці при використанні айтрекера.

Щоб програма працювала в такому режимі, потрібно в якості використовуваного пристрою вибрати Аэромышь (2 на малюнку нижче), але спочатку не забудьте поставити галочку в полі “Режим таблиці (GRID) – для дітей” (1).

Детальна інструкція

 

1. Вибір комп’ютера

Який комп’ютер для цього підійде? Я б сказав так: сучасний зі середніми характеристиками і операційною системою Windows версій 7, 8.1, 10 (Windows 10 – тільки 64 біта). Незважаючи на те, що в рекомендаціях по використанню айтрекера Tobii 4c (https://help.tobii.com/hc/en-us/articles/213414285-Specifications-for-the-Tobii-Eye-Tracker-4C) радять використовувати комп’ютер з процесором Intel i5 або i7, мені вдавалося працювати і на сучасних процесорах подешевше: i3, Pentium, Celeron, і навіть на Atom x5, хоча робота на останніх двох може здатися загальмованою.

Іншими словами, якщо у вас вже є комп’ютер, і він не архаїчний, то варто спробувати працювати на ньому. Якщо ж думаєте купити комп’ютер, головне – не беріть старий, і не беріть з процесором Atom. Хоча, якщо грошей зовсім немає, то можна спробувати і такий, але краще обговорити можливість повернення.

У комп’ютера повинен бути принаймні один порт USB версії 2 або 3. Краще, щоб було хоча б два порти, щоб можна було крім айтрекера хоч миша увіткнути. (Планшети, до речі, часто грішать тим, що порт USB у них тільки один).

2. Пристрій Tobii Eye Tracker 4C

Це пристрій випускається компанією Tobii для гравців у комп’ютерні ігри і продається за помірною ціною. Щоб не створювати конкуренції своїм значно дорожчим пристроїв “Tobii Eye Tracker 4C” зроблений несумісним з програмами для людей з обмеженими можливостями, що випускаються їй же.

Однак, випущені компанією Tobii засоби розробки залишили мені лазівку, що дозволяє написати такі програми самому. Можливо, не настільки досконалі, але зате безкоштовні.

Сьогодні (осінь 2018) це пристрій можна легко купити в декількох магазинах. Ви без праці знайдете найзручніший для себе варіант. Я брав навесні 2018 року за 11500 російський рублів.

Читайте також  Дизайн-процес: 7 кроків до ідеального проекту

2.1 Кріплення айтрекера на монітор.

Відео, що ілюструє установку на ноутбук:

Комп’ютер може бути великий з окремо вартим монітором або мобільний (ноутбук). Може бути навіть планшет Windows. Але потрібно пам’ятати, що айтрекер потрібно розташовувати точно ПІД монітором так, щоб кріплення було жорстким. І якщо до звичайного монітора айтрекер кріпиться йде в комплекті клейким магнітом, то до планшета його доводиться кріпити як-небудь віртуозно. На фотографії нижче планшет і айтрекер закріплені на шматку дошки, яка, в свою чергу, з’єднана з кронштейном, повертається на розі столу.

Також потрібно пам’ятати, що за темним склом (прозорим тільки в ІЧ-діапазоні) в центрі айтрекера знаходиться камера, а по краях — інфрачервоні світлодіоди. При кріпленні хомутами важливо не загородити ні те, ні інше.

Лінія очей повинна збігатися з лінією розташування айтрекера. Якщо людина лежить на боці, то і монітор потрібно нахилити набік.

Відстань від очей до монітора з айтрекером має бути близько 50 см (відстань витягнутої руки) або трохи далі. Тому кріпити айтрекер до телевізора на стіні не вийде – занадто далеко.

Як вже було сказано, в айтрекере знаходиться камера, і вона повинна бути спрямована на очі. Фронтальна поверхня айтрекера трохи відбиває світло. Постарайтеся побачити в ній, як у дзеркалі, свої очі – це означатиме, що камера дивиться на них. Нахиліть монітор при необхідності.

3. Установка програмного забезпечення

Все робити саме в такій послідовності!

3.1. Здобути файл TobiiGazeCore32.dll версії 4.1.3.938 або більш новий

Раніше цей файл можна було скачати в складі Tobii Gaze SDK. Зараз компанія Tobii припинила його надавати, і доводиться користуватися трюком, описаним нижче.

Потрібно завантажити та встановити програмне забезпечення Tobii EyeX 2.1.1. Після цього в одному з каталогів з’явиться цей файл. Потрібно скопіювати його в надійне місце, після чого встановлене програмне забезпечення можна видалити.

Інсталювати це програмне забезпечення потрібно ДО установки драйверів від Tobii, інакше потрібний нам файл TobiiGazeCore32.dll може не з’явиться (кому цікаво, ми вирішували цю проблему ось тут: github.com/MastaLomaster/bkb/issues/6 )

Отже, викачуємо Tobii EyeX 2.1.1 ( files.update.tech.tobii.com/engine/Tobii.EyeX_2.1.1.293.exe) і запускаємо. Погоджуємося з умовами: ставимо галочку і натискаємо кнопку “Next”.

Чекаємо…

Готово, натискаємо “Готово”.

Після установки з’явилося два файлу TobiiGazeCore32.DLL. Більш новий лежить в каталозі “C:Program Files (x86)TobiiTobii EyeX”. Це можна перевірити, якщо натиснути на імені файлу праву кнопку миші і вибрати «Властивості» в контекстному меню.

І потім, на закладці «Докладно» подивитися на номер версії:

Копіюємо файл в надійне місце, наприклад, створимо каталог BKB на диску C і покладемо файл туди:

Тепер можна видалити програму Tobii EyeX – ми взяли з неї все, що потрібно.
У Windows 10 для цього тиснемо кнопку «Пуск», потім — кнопку з шестірнею.

Потім виберемо розділ «Додатки»

Знаходимо і видаляємо все, що починається на “Tobii”, натискаючи на кнопку “Видалити”:

3.2. Установка драйверів і калібрування

Заходимо на сторінку tobiigaming.com/getstarted і натискаємо на кнопку «Tobii Eyetracking»:

Потім на кнопку «Download»:

Зберігаємо файл (на майбутнє), і потім запускаємо його:

Ставимо галочку, тиснемо кнопку «Next»:

Чекаємо…

Тиснемо кнопку “Continue”:

Потім тиснемо кнопку “Get Started”:

Далі потрібно буде мишею перетягнути лінії на екрані так, щоб вони співпали з смужками на корпусі айтрекера:

По завершенню натиснути кнопку “Done”.

Читайте також  Творець Пітона: я втомився, я йду

Потім на екрані з’являться два гуртка, які ілюструють, добре айтрекер бачить ваші очі.

Якщо гуртки розташовані не в центрі екрана (як на картинці зверху), нахиліть монітор, щоб зрушити їх.
Якщо кружечки великі і каламутні – ви занадто близько присунулися до монітора.
Якщо гуртки маленькі і каламутні – ви надто віддалилися від монітора.

Як я вже писав вище, оптимальна відстань від монітора до очей – близько 50 див.

Далі починається калібрування айтрекера.

ВАЖЛИВО!!!

Якщо айтрекером буде користуватися дитина, то калібрування потрібно буде виконати очима дитини!!

Для початку можете відкалібрувати пристрій під свої очі, а потім під очі дитини.
На екрані будуть з’являтися сині точки, треба буде дивитися на кожну з них по черзі.

Після того, як ви зафіксуєте погляд на одній з точок, вона розлетиться на шматочки, як верхня точка на картинці вище.

Після закінчення калібрування введіть ім’я людини, для очей якого проводилася калібрування і натисніть кнопку “Save”

Далі запуститься гра, в якій ви рухаєте очима приціл космічного корабля, а потім стріляєте по астероїдів клавішею «пробіл»:

Вийти з гри можна, натиснувши на клавішу “Escape”.

На панелі задач з’явиться значок з двома кружечками, зображують очі:

Якщо пристрій бачить тільки одне око, то буде показаний тільки один кружечок:

Якщо пристрій взагалі не знаходить очей, то будуть намальовані два хрестика:

ВАЖЛИВО! Для того, щоб програми не заважали працювати один одному, потрібно відключити стандартні дії, які виробляє драйвер Tobii.

Для цього клацаємо значок з кружечками (1) і в контекстному меню заходимо в розділ Interactions (2):

В кожному з розділів (Touchpad, Mouse, Windows) переведіть всі вимикачі в положенні “OFF”:

Якщо потрібно, щоб з пристроєм працював ще один чоловік, потрібно виконати калібрування і для його очей теж. Для цього знову тиснемо піктограму з двома кружечками, а потім на стрілку вліво:

Потім вибираємо пункт “Create New Profile…” (1) і повторюємо калібрування для нової людини.

Перемикання між профілями різних людей робиться в області нижче (2). Поточний профіль відзначений блакитним гуртком:

3.3. Установка Microsoft Visual C++ Redistributable for Visual Studio 2012 Update 4″

Якщо ви пропустіть цей крок, то при запуску програми ви побачите повідомлення про те, що файл не знайдений msvcrt110.dll:

Заходимо за посиланням: www.microsoft.com/ru-ru/download/details.aspx?id=30679

Качаємо і встановлюємо версію для процесорів x86:

3.4. Встановлення та налаштування програмного забезпечення (від автора статті)

Заходимо за посиланням.

Після цього тиснемо кнопку “Download” або “View Raw

Зберігаємо файл.

(якщо кому цікаво, там поруч лежать і вихідні коди на мові С++)

Створюємо каталог “C:bkb” і копіюємо туди вміст скачаного архіву “bkb32c-Russian.zip”.

Туди ж копіюємо файл “TobiiGazeCore32.dll” (див. п. 3.1. інструкції).

Повинен вийти каталог ось з такими файлами і подкаталогом “grid”:

Взагалі-то ви можете вибрати і інший каталог для програми, але це не повинен бути підкаталог “Program Files…”. Справа в тому, що програма зберігає файл конфігурації “config.bkb” в цьому каталозі, а підкаталоги “Program Files…” закриті на запис. (Так, я знаю, що потрібно було писати в %AppData%, але так вже склалося історично).

3.4.1. Налаштування програми для роботи в режимі таблиці

Програма написана так, що якщо ви нічого не натискаєте на її першому вікні, то вона починає сама визначати, з яким пристроєм їй слід працювати. Це зроблено для того, щоб її можна було поставити в автозавантаження на комп’ютер людини, який сам не може нічого натиснути.

Читайте також  10 Найкращих програм для обробки фотографій для Інстаграму

Тому при старті програми ворон не ловимо, а швиденько ставимо галочку в полі “Режим таблиці (GRID) – для дітей” (1).

Також рекомендую натиснути кнопку “Всі налаштування” (2) і встановити побільше час фіксації погляду на картинках, а також час очікування наступної фіксації погляду:

Тиснемо кнопку «Зберегти» і вибираємо наш айтрекер, наприклад, Tobii (3).

Якщо ви не встигли поставити галочку або увійти в налаштування, і програма запустилася, закрийте її і спробуйте знову.

Вийти з програми можна, тільки закривши її вікно в панелі завдань:

4.Використання програми

Після запуску в режимі таблиці програма розгорне на весь екран ось таке зображення:

Згорнути цю таблицю до однієї клітинки можна, подивившись на стрілку вліво (згорнути). Наприклад, щоб подивитися мультфільми.

Якщо подивитися на згорнуту таблицю, то вона знову розгорнеться на весь екран.

Якщо дивитися на зелений кружечок, буде вимовлятися слово «Так»

На червоний – слово «Ні»

На дзвін – звук дзвону.

На одну з картинок – відповідна фраза:

Комірка таблиці

0. Болить живіт.
1.Пити.
2.Їсти.
3.Какати.
4.Купатися.
5.Дивитися мультики.
6.Малювати.
7.Повернути на бік.
8.Спати
9.Дивитися у віконце.
a.Почухати лобик.
b.Читати казку.

Як вже згадувалося, вийти з програми можна, тільки закривши її вікно в панелі завдань.

5. Як змінити вміст таблиці

Можна змінити вміст таблиці, поклавши в каталог “grid” власні файли.

Для картинок – це файли у форматі BMP. (бажано зберігати їх у програмі Microsoft Paint, інакше програма може їх не прочитати).

Для звуків – це файли у форматі WAV.

У першій клітинці таблиці відображається файл 0.BMP і відтворюється звук 0.WAV
У другій клітинці – 1.BMP і 1.WAV
Всього на одному рівні може бути до 16 осередків, вони нумеруються так:
0,1,2,3,4,5,6,7,8,9,A,B,D,E,F

Тобто до 16-ї клітинці будуть прив’язані файли F. BMP і F. WAV

Можна зробити додаткові рівні таблиці.
Наприклад, при виборі осередку «Їсти» можна відкривати таблицю з вибором їжі.

В таблиці другого рівня файли іменуються двозначними значеннями.
Наприклад, «Їсти» на першому рівні має номер 2, а з неї ми потрапляємо в таблицю з осередками, що починаються на 2: 20, 21, 22……

Спробуйте зробити так:

Візьміть файл 2.BMP і скопіюйте його в файл 20.bmp, і ще в файл 21.bmp. Потім у графічному редакторі змініть файл 20.bmp, щоб там з’явилася тарілка з кашею. А файл 21.bmp відредагуйте так, щоб там було зображення пюре.

Тепер запишіть два звукових файлу: 20.wav і 21.wav. У першому запишіть, як ви вимовляєте слово “каша”, а в другому – слово “пюре”.

Тепер запустіть програму, і коли дитина буде дивитися на картинку зі словом “їсти”, то після проголошення цього слова відкриється нова таблиця з вашими картинками 20.bmp, і 21.bmp. А при зупинці погляду на цих картинках – будуть вимовляється слова, записані у файлах 20.wav і 21.wav відповідно.

Всього може бути три рівня, як показано нижче:

Клітинки наступного рівня додають ще одну цифру до імені файлу верхнього рівня:
2-їсти, 20-каша, 200-манна каша.

Після додавання нових файлів в каталог “grid” програму потрібно перезапустити, щоб вона їх побачила.

Записуйте свої звуки, створюйте свої картинки, об’єднайте їх у свої власні таблиці.

А можна замість цього купити готову систему від відомого виробника?

Звичайно, можна. Але за програмне забезпечення вони просять грошей, і ці програми не працюють з дешевими геймерськими айтрекерами.

Степан Лютий

Обожнюю технології в сучасному світі. Хоча частенько і замислююся над тим, як далеко вони нас заведуть. Не те, щоб я прям і знаюся на ядрах, пікселях, коллайдерах і інших парсеках. Просто приходжу в захват від того, що може в творчому пориві вигадати людський розум.

You may also like...

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *