Российские ученые научили искусственный интеллект анализировать эмоции участников онлайн-мероприятий
Исследователи НИУ ВШЭ предложили новый нейросетевой метод распознавания эмоций и вовлеченности людей. Алгоритмы строятся на основе анализа видеоизображений лиц и превосходят по точности известные аналоги. Разработанные модели подходят для малопроизводительного оборудования, в том числе для мобильных устройств. Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Итоги исследования опубликованы в IEEE Transactions on Affective Computing.
Пандемия COVID-19 привела к активному развитию инструментов онлайн-видео-конференц-связи и систем электронного обучения (e-learning). Технологии искусственного интеллекта могут помочь преподавателям дистанционно контролировать вовлеченность участников мероприятия. Сейчас алгоритмы анализа поведения студентов и выявления вовлеченности в онлайн-среде изучают специалисты в области интеллектуального анализа данных для образования. Среди инструментов анализа наибольшей популярностью пользуются автоматические методы, основанные на технологиях компьютерного зрения. В частности, считается, что на качество многих e-learning-систем большое влияние может оказать распознавание эмоций и вовлеченности участников на основе видеоаналитики.
В рамках проекта Центра искусственного интеллекта НИУ ВШЭ «Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения» ученые разработали новый нейросетевой алгоритм распознавания эмоций и вовлеченности по видеоизображениям лиц.
Ученые научили нейронную сеть извлекать характерные признаки эмоций, основываясь на специальном «устойчивом» способе обучения нейронной сети и обработке только наиболее важных областей лица. Суть метода в том, что сначала осуществляется детектирование лиц и извлечение их характерных признаков с последующей группировкой лиц каждого участника. Далее с помощью специально обученных эффективных нейросетевых моделей извлекаются эмоциональные признаки каждого выделенного лица, они агрегируются с помощью статистических функций и классифицируются. На заключительном этапе идет визуализация фрагментов видеоурока с наиболее ярко выраженными эмоциями и различными степенями вовлеченности каждого слушателя. В результате исследователям удалось создать новую модель, которая сразу для нескольких лиц на видео определяет эмоции каждого человека и степень его увлеченности.
Андрей Савченко
«Для нескольких наборов данных мы показали, что предложенные алгоритмы превосходят по точности известные аналоги. При этом, в отличие от большинства известных технологий, разработанные модели могут участвовать в обработке видео в режиме реального времени даже на малопроизводительном оборудовании, в том числе на мобильных устройствах каждого участника онлайн-мероприятия», — комментирует руководитель проекта, профессор кафедры информационных систем и технологий НИУ ВШЭ в Нижнем Новгороде Андрей Савченко. — Совместно с Ильей Макаровым из Научно-исследовательского института искусственного интеллекта (AIRI) мы создали достаточно простую в использовании компьютерную программу, позволяющую обработать видеозапись вебинара или онлайн-занятия и получить набор видеоклипов с наиболее характерными эмоциями каждого участника».
Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Так, в ходе предварительного тестирования онлайн-курса по реакции слушателей можно понять, какие части лекции были наиболее интересны, а что оказалось трудным для понимания и нуждается в корректировке. В настоящий момент проводятся исследования по возможностям интеграции разработанных моделей в сервис видеоконференций Jazz by Sber. Видеозаписи, собранные в рамках этого проекта из открытых источников, позволят исследователям сделать шаг к созданию сервиса определения эмоций и вовлеченности слушателей онлайн-мероприятий.
Вам также может быть интересно:
В Вышке создали собственную MLOps-платформу
Ученые НИУ ВШЭ создали MLOps-платформу SmartMLOps. Она предназначена для исследователей в области искусственного интеллекта, которые хотели бы превратить свое изобретение в полноценный сервис. В будущем на платформе могут быть развернуты ИИ-помощники для упрощения образовательного процесса, оказания медицинской помощи, консультирования и решения многих других задач. Создатели ИИ-технологий смогут получить готовый к работе сервис в течение считанных часов. На суперкомпьютере Вышки этот сервис может быть запущен в несколько кликов.
«От нашей общей работы зависит будущее»: что несет человечеству развитие ИИ
Какие перспективы и вызовы для человечества несет развитие технологий искусственного интеллекта? Как его используют ученые? Каким будет мир, где доминирует ИИ? Эти и другие темы обсудили эксперты на форсайт-сессии «Будущее исследований в сфере искусственного интеллекта», которая прошла в НИУ ВШЭ.
ИИ позволит точно моделировать производительность систем хранения данных
Исследователи факультета компьютерных наук НИУ ВШЭ разработали новый подход к моделированию систем хранения данных на основе генеративных моделей машинного обучения. Он позволяет с высокой точностью предсказывать ключевые характеристики работы таких систем при различных условиях. Результаты опубликованы в журнале IEEE Access.
ИИ в образовании: как преодолеть соблазн готовых решений
Искусственный интеллект уже стал обыденностью для молодежи: как показал опрос, около 87% студентов ведущих вузов используют ИИ в процессе обучения. Большая часть из них отметила, что он помогает им экономить время, при этом они проверяют сделанную ИИ работу. Результаты исследования были представлены на конференции по анализу данных и технологиям ИИ Data Fusion. В ее работе приняли участие научный руководитель НИУ ВШЭ Ярослав Кузьминов и другие эксперты Вышки.
Большинство студентов не верят, что ИИ сможет заменить их на работе
Большинство студентов считают, что ИИ не сможет заменить их на работе в ближайшие десять лет. Низким такой риск называют 27,2% респондентов, 41,5% — крайне маловероятным. Эти оценки были получены НИУ ВШЭ в ходе опроса 4200 студентов в 2025 году. Они приводятся в докладе «Эпоха больших языковых моделей: почему они все еще не профессионалы», подготовленном научным руководителем НИУ ВШЭ Ярославом Кузьминовым и старшим преподавателем кафедры высшей математики НИУ ВШЭ Екатериной Кручинской. Доклад был представлен на XXV Ясинской (Апрельской) международной научной конференции по проблемам развития экономики и общества, которая проходит с 15 по 18 апреля в НИУ ВШЭ.
Точный ИИ-оракул: какие тренды интересуют бизнес
Современные технологии ежедневно меняют мир, автоматизируя бизнес-процессы в различных отраслях. Специалисты НИУ ВШЭ представили масштабный опыт команды iFORA по реализации ИИ-проектов в интересах крупных компаний и органов власти.
Перспективы ИИ: математика машинного обучения в фокусе
Институт искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ провел выездной воркшоп «Математика машинного обучения». Здесь собрались ведущие ученые и специалисты НИУ ВШЭ в области машинного обучения, математики и статистики. В центре внимания исследователей оказались математические аспекты, лежащие в основе современных и наиболее перспективных направлений машинного обучения. Программа воркшопа включала мини-курсы, практические работы, доклады и круглый стол, посвященный перспективам развития ИИ в России.
Внедрение искусственного интеллекта в организации: какие эффекты отмечают сотрудники
45% организаций, которые занимались внедрением ИИ в работу, заявили о повышении производительности труда в результате его использования. Об этом говорится в исследовании «Внедрение ИИ в работу организаций: чем обусловлена вариация эффектов на труд?». Исследование проведено директором Центра статистики труда и заработной платы ИСИЭЗ НИУ ВШЭ Анной Демьяновой и стажером-исследователем центра Дарьей Талакаускас. Оно было презентовано на XXV Ясинской (Апрельской) международной научной конференции по проблемам развития экономики и общества (XXV ЯМНК), проходящей в НИУ ВШЭ с 15 по 18 апреля.
«Идею всегда задает человек»: что дает ИИ образованию и медиа
ИИ-технологии меняют принципы работы образования и медиаиндустрии. Большинство студентов уже в той или иной мере используют ИИ, а нейросети уже массово производят все виды контента. Возможности и вызовы эксперты обсудили на конференции «Образование и медиа в эпоху цифровых перемен», организованной Дирекцией по маркетинговым коммуникациям НИУ ВШЭ и «Яндекс Образованием».
В Вышке стартовали открытые семинары «ИИ в индустрии»
Институт искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ запустил цикл открытых семинаров. Встречи посвящены актуальным вопросам внедрения искусственного интеллекта в различные отрасли экономики. Семинары проводятся еженедельно в 18:00 в кампусе на Покровском бульваре. Для участников также предусмотрена онлайн-трансляция.