Я тут придумал интерфейс, который, похоже, еще никто даже в прототипе не реализовал, а он выглядит очень круто. И технически нет ничего невозможного.
Смысл в том, что система (сайт, интернет-магазин, операционка – неважно) постоянно слушает пользователя (микрофон, обычная речь). Но в отличие от голосого интерфейса (а-ля Siri или Alexa) здесь это дополнительный канал общения пользователя с системой, а не основной. Если система не понимает пользователя, она не делает ничего. Если система понимает пользователя, она меняет интерфейс так, чтобы у него “под мышкой” были более релевантные результаты.
Например, сидите вы в интернет-магазине, ищете себе ботинки. Открываете первые попавшиеся, фасон дурацкий, цвет – норм. Вы просто это говорите. Система перестраивает навигацию так, чтобы то, что вам понравилось, было ближе. Разумеется, при прочих равных – если вы ищите зеленое, то как вам красное не нравится, его среди зеленого не надо показывать. Но никто не мешает делать динамические персонализированные списки рекомендованных товаров. Например, если пользователь, увидев товар, говорит, что он классный, то система, использовав machine learning, показывает ему товары, которые могут ему понравиться (это уже давно есть).
Теоретически, если это совместить с eye tracking и mouse tracking, можно сделать очень мощный прототип. Преимущество системы в том, что она незаметная. Она просто наблюдает и слушает. И такого, как в том лифте из ролика (Eleven!) не будет.
Разумеется, тут есть сложность: отправлять звук и видеокартинку на сервер нельзя, на это ни один пользователь не пойдет. Но обрабатывать это локально на компе пользователя, и отправлять уже принятые системой решения – вполне можно.
Это на примере интернет-магазина. Но в целом, концепция будет работать везде. Выделить полоску экрана, где будут всплывать контекстные ссылки на основе анализа речи и характера работы с сайтом пользователя – вполне может быть полезно. Например, заходишь на Госуслуги и голосом “где ж тут штрафы оплачивать…” и внизу сразу всплывает “Штрафы – тут!”. Или не всплывает, если вы пробубнили невнятное, но ведь параллельно вы там что-то в меню ищите и на голос особо расчета нет. Со временем качество распознавания будет улучшаться (хотя бы из-за того, что система поймет, что со штрафами ваш бубнеж угадала, и подняла вес этой догадки на следующий раз)
Being in America 