Исследовательская работа Apple описывает, как Apple оптимизировала Siri для работы на HomePod

Apple опубликовала новую статью в своем Журнале Машинного Обучения, предоставляющую углубленную техническую информацию о том, как Apple разработала Siri на HomePod для работы с восприятием и пониманием голоса пользователя в больших пространствах, в которых предназначен для работы HomePod. Под заголовком “Оптимизация Siri на HomePod в условиях дальнего поля” статья объясняет, как Siri на HomePod была спроектирована для работы в “сложных сценариях использования”, таких как взаимодействие с пользователями, стоящими гораздо дальше от HomePod, чем они обычно находятся от своего iPhone, а также взаимодействие с громким воспроизведением музыки с самого HomePod и распознавание речи пользователя, несмотря на другие источники звука в комнате, такие как телевизор или бытовая техника.

В статье Apple также описывает, как шесть микрофонов HomePod и многоканальная система обработки сигналов, встроенная в его чип A8, работают вместе, чтобы адаптироваться к различным изменяющимся условиям, при этом обеспечивая, чтобы Siri могла слышать говорящего и адекватно реагировать. Алгоритмы машинного обучения используются как часть обработки сигналов для создания продвинутых алгоритмов для общих функций, таких как подавление эха и снижение шума, что улучшает надежность Siri в самых разных часто меняющихся условиях.

Функция многоканального подавления эха (MCEC) используется для эффективного “отмены” любой музыки, воспроизводимой с самого HomePod, поскольку процессор может определить специфические акустические свойства любой музыки или другого аудио, воспроизводимого из динамика, хотя в статье обсуждается необходимость добавления основанного на маске подавителя остаточного эха (RES), который использует машинное обучение для моделирования таких вещей, как механические вибрации HomePod и изменения сигнала из-за массивов динамиков с формированием луча. В статье также объясняются дополнительные методы, используемые для фильтрации реверберации от команд, произнесенных из другого конца комнаты, и основанное на маске снижение шума для фильтрации фонового шума от таких вещей, как бытовая техника, системы отопления и кондиционирования воздуха, а также звуки с улицы, проникающие через окна.