Как настроить voice control

Как настроить голосовое управление на Андроид

Как настроить голосовое управление на Андроид. Одна из главных задач операционной системы Андроид — это максимально простое и понятное управление устройством. В каждом обновлении появляется всё больше новых возможностей, которые существенно упрощают пользование. Одной из таких функция является голосовое управление Андроид.

Голосовое управление Андроид

Голосовое управление Андроид — это инновационная технология, с помощью которой можно управлять устройством без лишних манипуляций, а только голосом. Эта функция находится в стадии активного развития и усовершенствования.

Ok, Google на Андроид, даёт возможность более эффективно использовать устройство. Голосом можно выполнять много функций и получать качественный результат. К примеру, искать необходимую информацию, включать/выключать приложения и даже набирать текст. На сегодняшний день данная разработка не идеальна и включает в себя различные недоработки.

Все команды, которые возможно осуществить с помощью голосового управления делятся на две группы.

1. управление функциями самого устройства — если вы хотите послушать музыку, то просто скажите — «Проиграть плейлист», если хотите включить будильник, то произнесите фразу – «Разбуди меня в такое-то время» и так далее
2. поиск информации — голосовым запросом можно узнать, например, погоду, посмотреть счёт игры любимой команды, найти слова песни и так далее

Но к сожалению, есть и некоторые ограничения в работе голосового управления. Иногда на невостребованные запросы вы не сможете получить информацию. Например, вас интересует расписание сеансов в кинотеатрах Киева, и вы без проблем получите ответ, а вот если вы зададите тот же запрос, но уже касательно менее крупного города, то тут могут возникнуть проблемы, и вы можете столкнуться с отсутствием информации.

Как включить голосовое управление

Для того, чтобы воспользоваться голосовым управлением Ok, Google, необходимо постоянное подключение к интернету. В ограниченных размерах приложение может работать и без интернета, но качество распознавания голоса будет очень плохим и использование функции будет практически невозможным.

Включить голосовое управление несложно. Для этого нужно:

1. установить приложение Google, если оно у вас уже установлено, то убедитесь, что стоит именно последняя версия
2. зайти в приложение Google
3. в верхнем левом углу нажать значок, который выглядит как три горизонтальные линии
4. далее зайти в «Настройки»
5. выбрать «Голосовой поиск»
6. после — «Распознавание Ok, Google» или «На любом экране»

На некоторых устройствах распознавание функции голосового управления доступно не только в приложении Google, но и в других программах. Для этого в программе Google нажмите:

1. «Настройки»
2. далее — «Приложения». Там у вас отобразится перечень программ, в которых вы можете использовать Ok, Google

Основными требованиями для работы голосового управления является наличие программы Google версии 3,5 или выше и операционная система Android 4.4 или выше.

Как настроить голосовое управление

Функция Ok, Google всегда активна при условии, если у вас запущено приложение Google или Google Chrome. После активации система зафиксирует ваш голос и в дальнейшем с распознаванием проблем не должно быть. Чтобы осуществить запрос достаточно произнести фразу Ok, Google и сформулировать вопрос или команду.

Как отключить голосовое управление

Отключить Ok, Google не сложнее, чем включить. Для этого нужно сделать следующее:

1. зайти в приложение Google
2. в верхнем левом углу значок, который выглядит как три горизонтальные линии
3. выбрать «Голосовой поиск»
4. далее «Распознавание Ok, Google»
5. убрать флажок — «На любом экране» или «Всегда включено»

Команды голосового управления

Ok, Google распознаёт множество разных команд. Нет конкретного перечня выполняемых запросов, так как у каждого пользователя они разные.

Вот небольшой список команд, которые можно осуществить с помощью голосового управления:

• позвонить любому человеку из списка контактов
• отправить текстовое сообщения
• отправить письмо по электронной почте
• опубликовать запись в социальных сетях
• отследить посылку
• запустить приложение
• узнать погоду
• проложить маршрут до места назначения
• найти место, компанию, заведение
• перевести текст с одного языка на другой
• определить песню и так далее

Не работает голосовое управление. Какие могут быть причины и как исправить?

Убедитесь, что голосовое управление активно: «Настройки» — «Голосовой поиск» — «Распознавание О’кей, Google». Установите флажок — «Из приложения Google». Также для правильной работы голосового управления необходимо подключение к интернету. Убедитесь, что устройство подключено к Wi-Fi или мобильному интернету. Попробуйте перезагрузить устройство.

Источник

Использование функции «Управление голосом» на компьютере Mac

Взаимодействуйте с компьютером Mac с помощью голосового управления вместо обычных устройств ввода.

В macOS Catalina впервые представлена функция «Управление голосом» — новый способ полностью управлять компьютером Mac исключительно посредством голосовых команд. Функция «Управление голосом» использует механизм распознавания речи Siri для дальнейшего совершенствования функции «Улучшенная диктовка», доступной в более ранних версиях macOS. 1

Включение функции «Управление голосом»

После обновления до macOS Catalina выполните следующие действия, чтобы включить функцию «Управление голосом»:

1. Откройте меню Apple > «Системные настройки» и щелкните «Универсальный доступ».
2. Щелкните «Управление голосом» на боковой панели.
3. Установите флажок «Включить Управление голосом». При первом включении функции «Управление голосом» компьютер Mac выполняет одноразовую загрузку из Apple. 2
   Настройки функции «Управление голосом»

Когда функция «Управление голосом» включена, на экране отображается микрофон, представляющий микрофон, выбранный в настройках функции «Управление голосом».

Чтобы приостановить функцию «Управление голосом» и отключить ее от прослушивания, скажите «Спать» или щелкните «Режим сна». Чтобы возобновить работу функции «Управление голосом», скажите «Проснуться» или щелкните «Пробуждение».

Использование функции «Управление голосом»

Начните знакомство с функцией «Управление голосом» с изучения списка доступных голосовых команд: скажите «Показать команды» или «Показать, что сказать». Этот список зависит от контекста и может содержать не все вариации. Чтобы проще узнавать, была ли ваша фраза воспринята функцией «Управление голосом» как команда, вы можете установить флажок «Проигрывать звук при распознавании команды» в настройках функции «Управление голосом».

Базовая навигация

Функция «Управление голосом» распознает названия многих программ, меток, элементов управления и других объектов на экране, что позволяет использовать эти имена в сочетании с определенными командами для навигации. Вот несколько примеров.

• Откройте программу Pages: «Открыть Pages». Затем создайте новый документ: «Щелкнуть «Новый документ»». Затем выберите один из шаблонов письма: «Щелкнуть «Письмо». Щелкнуть «Классическое письмо»». Затем сохраните документ: «Сохранить документ».
• Начните новое сообщение в программе «Почта»: «Щелкнуть «Новое сообщение»». Затем укажите адресата: «Иван Арсентьев».
• Включите темный режим: «Открыть «Системные настройки». Щелкнуть «Основные». Щелкнуть «Темный»». Затем закройте системные настройки: «Закрыть «Системные настройки»» или «Закрыть окно».
• Перезапустите компьютер Mac: «Щелкнуть меню Apple, щелкнуть «Перезапустить»» (или использовать наложение номеров и сказать «Щелкнуть 8»).

Наложение номеров

Наложение номеров позволяет быстро взаимодействовать с частями экрана, которые функция «Управление голосом» распознает как активные (меню, флажки, кнопки и т. д.). Чтобы включить наложение номеров, скажите «Показать номера». Затем просто назовите номер, чтобы щелкнуть его.

Наложение номеров упрощает взаимодействие со сложными интерфейсами, такими как на веб-страницах. Например, в веб-браузере вы можете сказать «Искать магазины Apple Store поблизости», затем выбрать один из результатов с помощью наложения номеров: «Показать номера, щелкнуть 64». (Если номер ссылки уникален, его также можно щелкнуть без наложений, сказав «Щелкнуть» и название ссылки.)

Функция «Управление голосом» автоматически показывает номера в меню и при необходимости может различать объекты с одинаковыми названиями.

Наложения сетки

Используйте наложения сетки для взаимодействия с частями экрана, в которых нет элементов управления или которые функция «Управление голосом» не распознает как активные.

Скажите «Показать сетку», чтобы отобразить на экране нумерованную сетку, или «Показать сетку окна», чтобы ограничить сетку активным окном. Назовите номер сетки для более детального разбиения соответствующей области сетки и повторяйте нужное число раз для дальнейшего уточнения своего выбора.

Чтобы щелкнуть объект, обозначенный номером сетки, скажите «Щелкнуть» и назовите номер. Либо скажите «Увеличить» и назовите номер в нужной области сетки, чтобы приблизить его и автоматически скрыть сетку. Также можно использовать номера сетки для перетаскивания выбранного объекта из одной области сетки в другую: «Перетащить 3 на 14».

Чтобы скрыть номера сетки, скажите «Скрыть номера». Чтобы скрыть и номера, и сетку, скажите «Скрыть сетку».

Диктовка

Когда курсор находится в документе, сообщении электронной почты, текстовом сообщении или другом текстовом поле, вы можете диктовать непрерывно. Функция «Диктовка» преобразует вашу устную речь в текст.

• Чтобы ввести знак препинания, символ или эмодзи, просто назовите его, например: «вопросительный знак» или «знак процента» или «эмодзи счастье». Названия могут варьироваться для разных языков или диалектов.
• Для перемещения курсора и выделения текста можно использовать команды типа «Вверх два предложения», «Вперед один абзац», «Выделить предыдущее слово» или «Выделить следующий абзац».
• Для форматирования текста попробуйте, например, команды «Жирным шрифтом» или «С большой буквы». Чтобы форматировать следующую фразу как число, скажите «Числовой формат».
• Для удаления текста существует множество разных команд. Например, скажите «Удалить», и функция «Управление голосом» удалит только что введенный текст. Или скажите «Удалить все», чтобы удалить все и начать заново.

Функция «Управление голосом» понимает контекстуальные сигналы, поэтому при переходе от диктовки к командам и обратно затруднений не возникает. Например, чтобы продиктовать и затем отправить поздравление с днем рождения в программе «Сообщения», можно сказать «С днем рождения, щелкнуть «Отправить»». Или, чтобы заменить фразу: «Заменить Скоро буду на Я на месте».

Также можно создать собственный словарь для использования при диктовке.

Создание собственного словаря голосовых команд

Создание собственных голосовых команд

1. Откройте настройки функции «Управление голосом» — например, сказав «Открыть настройки управления голосом».
2. Щелкните «Команды» или скажите «Щелкнуть «Команды»». Будет открыт полный список всех команд.
3. Чтобы добавить новую команду, нажмите кнопку добавления (+) или скажите «Щелкнуть «Добавить»». Затем настройте параметры для определения команды:
   • Когда я говорю: введите слово или фразу, при произнесении которой требуется выполнять определенное действие.
   • При использовании: выберите конкретную программу, если данное действие следует выполнять только при использовании на компьютере Mac данной программы.
   • Выполнить: выберите действие, которое следует выполнять. Можно открыть объект Finder, открыть URL-адрес, вставить текст, вставить данные из буфера обмена, нажать сочетание клавиш, выбрать пункт меню или запустить процесс Automator.
4. Используйте флажки для включения или отключения команд. Также можно выбрать команду для выяснения, работают ли с этой командой другие фразы. Например, команда «Отменить» работает с несколькими фразами, включая «Отменить» и «Заново».

Чтобы быстро добавить новую команду, вы можете сказать «Сделать это произносимым». Функция «Управление голосом» поможет вам настроить новую команду, исходя из контекста. Например, если команда произнесена, когда выбран пункт меню, функция «Управление голосом» помогает создать команду для выбора этого пункта меню.

Создание собственного словаря диктовки

1. Откройте настройки функции «Управление голосом» — например, скажите «Открыть настройки управления голосом».
2. Щелкните «Словарь» или скажите «Щелкнуть «Словарь»».
3. Щелкните кнопку добавления (+) или скажите «Щелкнуть «Добавить»».
4. Введите новое слово или фразу для ввода при произнесении.

Источник

Voice Control и VoiceOver: как адаптировать приложение для незрячих или неподвижных

Представь, что ты незрячий. Вот так ты услышишь эту картинку: «Буква D в чёрных очках и с белой палочкой и буква O в инвалидной коляске смотрят на большой телефон. На экране телефона скриншот приложения Додо Пиццы, который проговаривает названия ячейки меню из пицц для VoiceOver. Картинка стилизована под старые компьютеры и выполнена в зелёных цветах. Нажать кнопку «Читать дальше».

Адаптация iOS-приложения — большая тема, в одну статью всё не влезло, поэтому выпускаю их серией.

1. Voice Control и VoiceOver: как адаптировать приложение для незрячих или неподвижных.
2. VoiceOver на iOS: каждый контрол ведёт себя по-разному.
3. VoiceOver на iOS: решение типовых проблем.
4. Разница между реализацией VoiceOver, Voice Control и UI тестов. (In progress)

Телефон давно стал продолжением меня, и я слабо представляю свою жизнь без пары десятков приложений, которыми пользуюсь каждый день. Но как быть тем, кто не может взять телефон в руку или посмотреть на экран? Фичи iOS открывают людям с ограничениями в движении, зрении и слухе эти возможности в обычной жизни. С их помощью можно увеличить размер текста и контраст, сделать моно-аудио, убрать анимации. Можно работать с интерфейсом без экрана — на слух (для незрячих) или вообще управлять только голосом (если человек ограничен в движении).

Адаптировать можно любое приложение и даже некоторые игры. Сегодня я расскажу как iOS-разработчикам сделать первые шаги в этом направлении.

Voice Control: управляй голосом

Начиная с iOS 13 телефон можно контролировать голосом. Voice Control упрощает жизнь и даёт новый уровень свободы людям с ограничениями в движении. Посмотрите видео, в нём Apple показывает, как именно это работает:

Ещё более детально об управлении телефоном можно узнать вот в этих видео:

Включив эту функцию, вы сможете отдавать команды телефону. Увы, пока работает только с английским языком. Например, говоришь «tap purchase», — и кнопка купить нажимается. Для управления кнопками с иконками (без названий в виде слов) можно скомандовать «show numbers», и у всех кнопок появятся цифровые подписи. Теперь можно сказать «tap five» и пятая кнопка нажмётся.

Для работы со сложными элементами (карты, графики), можно попросить телефон показать сетку, тогда место на карте можно будет выбирать по номеру ячейки.

Доступных жестов очень много. Полное описание всех вы можете посмотреть в настройках телефона: Settings → Accessibility → Voice Control → Customize Commands.

VoiceOver: управляй жестами

Чтобы вашим приложением могли пользоваться незрячие люди, его нужно адаптировать с помощью VoiceOver. Несколько отличий от обычного использования:

1. Вместо взгляда по экрану скользит палец. Когда палец оказывается на кнопке, телефон говорит её название и наводит на неё фокус в виде чёрной рамки. После этого можно нажать дважды в любом месте, кнопка нажмётся. Ещё можно переключаться между соседними элементами свайпом влево или вправо.
2. Доступны дополнительные жесты: для навигации, для важных действий, для сложных элементов управления, например, слайдеров.
3. Экран можно выключить, ведь он не нужен. Для этого тапните тремя пальцами трижды.

Как сделать ваше приложение доступным

Voice Control и VoiceOver работают на одной технологии, поэтому адаптировав одно, мы получаем поддержку второго.

Для начала нужно побыть пользователем: включить, попробовать поюзать самостоятельно и настроить шорткат (быстрое включение), чтобы легко было проверять новые фичи.

Где включить: включать/отключать можно через Siri или через настройки (Settings → Accessibility → VoiceOver).

Как настроить шорткат: для быстрого доступа включите шорткат на тройное нажатие кнопки «домой» (или «выключить» для X моделей): Settings → Accessibility → Accessibility Shortcut → Поставить галочку рядом с VoiceOver .

Программируем (теория)

Основа доступности — протокол UIAccessibilityElement. Для улучшения работы VoiceOver нужно:

• Подписать кнопки.
• Добавить значения.
• Оставить подсказки.
• Сгруппировать контролы.
• Поправить неправильные надписи.
• Указать тип контрола: кнопка, надпись, ссылка и т.д.

Что-то можно настроить в Interface builder , но часть настроек доступна только в коде.

Названия кнопок — .accessibilityLabel

Каждой кнопке надо дать короткое звучное название. VoiceOver подстрахует, если вы забыли — попытается прочитать текст или название иконки на кнопке, но часто получается так себе.

Что нужно подписывать:

• Кнопки с иконкой, но без текста;
• UISlider ;
• UIStepper ;
• Картинки. Если есть возможность, то лучше подписать, что изображено на картинке. Instagram это умеет.

Значения — .accessibilityValue

Дополнительно к названию можно написать значение. Например, у слайдера будет название «яркость», а значение — «50%». У кнопки «Добавить в корзину» стоит указать количество или итоговую цену, чтобы подытожить действие всего экрана и не купить лишнего.

Подсказки — .accessibilityHint

Если вы хотите дополнительно пояснить действие, то можно записать подсказку в .accessibilityHint . Но сильно полагайтесь на подсказки не стоит: постоянные пояснения надоедают, поэтому некоторые пользователи отключают их через настройки телефона.

Обобщение контролов

По умолчанию проговаривается каждый контрол по отдельности. Это неудобно: зоны нажатий уменьшаются, можно что-то не заметить и т.д. Нужно обобщать. Например, в меню ячейка состоит из картинки, названия, описания и кнопки с ценой. Такая детальность не нужна: маленькую картинку можно скрыть, название и цену прописать в заголовок ячейки, а состав в её значение. Ячейка станет одним целым, а меню превратится в нормальный набор продуктов.

Программируем (демо и практика)

Этих знаний достаточно, чтобы начать улучшать собственную программу. Разберём на примере меню с пиццами.

Неадаптированная версия для незрячего выглядит так:

Несколько очевидных проблем, которые предстоит решить:

• Непонятное значение 24 в правом верхнем углу.
• Пустое место слева и сверху.
• Слишком много элементов.
• Неправильное произношение цены («от двести сорок пять знак рубля» вместо «от двести сорок пять рублей»).

Добавляем значения

24 в правом верхнем углу — это количество додо-рублей.
Так и надо подписать:

Этот код можно разместить в любом месте, где у вас есть актуальное значение для value.

Для кнопки города можно сделать нечто похожее: лейбл — ваш город, значение — Москва. Но можно и не делать, вроде и так понятно. Не переусердствовать — тоже важная задача.

Убираем пустое место сверху

Акции вверху — это горизонтальный UICollectionView . Внутри ячейки есть лейбл, именно его находит VoiceOver .

1. Сделать всю ячейку доступным контролом. По умолчанию все view выступают только контейнерами для других элементов, VoiceOver их игнорирует. Чтобы пометить view , как конечный элемент, нужно поставить ячейке isAccessibilityElement = true . Это можно сделать в методе awakeFromNib() . После этого выделяться начнёт вся ячейка, пустое место больше не мешает.
2. Дать ячейке название. На лейбле больше нельзя сфокусироваться, поэтому нужно вручную указать текст. accessibilityLabel = specialOffer.title

Настроить можно в методе cellForItemAt :

Упрощаем табличную ячейку

У ячейки с продуктом две проблемы: много элементов и неправильное описание цены.

Объединяем контролы

Сейчас у ячейки несколько полей: название, описание, цена и картинка, 4 контрола на ячейку. Если в меню 10 продуктов, то это уже 40 маленьких контролов. Надо обобщить, чтобы было 10 продуктов, так получается ближе к смыслу.

1. Сделать всю ячейку доступным контролом. Это мы уже умеем: ставим ячейке isAccessibilityElement = true
2. В accessibilityLabel записать самое важное: название и цену. Разделим запятой, VoiceOver учитывает пунктуацию.
3. В accessibilityValue указать дополнительную информацию, в нашем случае это состав.
4. Указать, что ячейку можно нажать, т.е. по сути это кнопка. accessibilityTraits = .button

Метод внутри ячейки, подставляет нужные значения:

Группировать можно не только ячейки, но и все связанные смыслом контролы. Например, переключатель количества и цену стоит обрабатывать вместе: изменили количество — сказали новую цену. Тогда вместо четырёх глупых контролов появится один нормальный.

Склоняем «рубли»

Для правильного написания «рублей» мы генерируем правильную строку и ставим её в accessibilityLabel для кнопки.

Навигация жестами

Для навигации есть два вспомогательных жеста: скрабл и меджик тап.

Скрабл возвращает на предыдущий экран. Чтобы его выполнить, проведите по экрану двумя пальцами, будто пишите букву Z. Ещё скраблом можно заканчивать ввод текста.

Меджик тап вызывает главную функцию текущего экрана. Нужно тапнуть дважды двумя пальцами. Можно включить песню в плеере или ответить на звонок.

У меджик тапа есть UX-проблема — неочевидно, что он делает. Для себя мы решили так: если скрабл переходит на экран назад, то пусть меджик тап переводит на следующий экран по сценарию. На карточке пиццы это добавит её в корзину, если вы были в корзине, то перейдёте на экран доставки, а с доставки переключитесь на оплату.

Но если действие неочевидно, то можно рассказать о меджик тапе в подсказке у кнопки. Но помните: подсказки могут не проговариваться, зависит от настроек.

Адаптируем навигацию

Если нажать на акцию или кнопку додо-рублей, откроется модальный экран. Если бы мы использовали UINavigationController , то ничего делать было бы не нужно. Но для модальных экранов нужно описать, как они реагируют на дополнительные жесты.

Добавляем скрабл

После того, как пользователь нарисует Z, вызовется метод accessibilityPerformEscape у firstResponder . Обычно, это текущий UIViewController .

Вам достаточно реализовать этот метод, закрыть в нём экран и вернуть true, показав, что жест обработан и можно не проходить responder chain дальше:

Похожим образом можно реагировать на меджик тап. Например, применить акцию из карточки:

Как находить проблемы

Проблемы адаптации находить несложно, стоит только включить VoiceOver , как на вас посыпятся десятки. Но спустя время находить новые проблемы станет сложнее, при этом легко пропустить что-то важное, ведь проблемы приходится находить на слух. Есть пара способов упростить жизнь разработчику.

1. Включить субтитры. В iOS 13 появилась настройка, которая включает «субтитры»: Settings → Accessibility → VoiceOver → Caption Panel.
2. Смотреть подписи через Voice Control. При тестировании VoiceOver можно включить Voice Control, тогда все надписи будут видны сразу. Если где-то цифра, то вы забыли прописать .accessibilityLabel .
3. Accessibility Inspector. Accessibility Inspector даёт возможность посмотреть все accessibility свойства в симуляторе. Ещё он может сделать аудит текущего экрана, так вы узнаете о возможных проблемах: малые области нажатия, неконтрастные элементы, неподписанные кнопки. Если нужно, то может прочитать голосом все элементы.

Пока на этом всё

Мы адаптировали один экран. Программировать нужно совсем немного, поддерживать доступность на базовом уровне легко.

Но за кадром осталось многое: разные accessibilityTraits , набор текста, навигация в приложении, custom actions , порядок фокусировки, accessibility notifications , ротор и клавиатуру Брайля. Об этом в следующий раз.

Если уже сейчас хотите узнать больше, то можно почитать:

Чтобы не пропустить следующую статью, подписывайтесь на канал Dodo Pizza Mobile.

Источник