Новая модель, автоматически генерирующая трейлеры к фильмам

Новая модель, автоматически генерирующая трейлеры к фильмам

Новая модель, автоматически генерирующая трейлеры к фильмам

Blog Article

Трейлеры, короткие видеоклипы, знакомящие с новыми фильмами, часто являются ключевыми элементами рекламных стратегий, применяемых кинокомпаниями. Чтобы быть наиболее эффективными, трейлеры должны кратко излагать сюжет фильма, в привлекательной форме передавая его художественный стиль и общее настроение.


До сих пор трейлеры к фильмам создавали в основном люди. Однако недавно некоторые компьютерные ученые начали изучать возможность того, что эти рекламные ролики могут также автоматически создаваться машинами.


Исследователи из Эдинбургского университета разработали модель на основе искусственной нейронной сети, которая может автоматически генерировать трейлеры фильма. Эта модель, представленная в статье, предварительно опубликованной на arXiv, основана на неконтролируемом графическом алгоритме машинного обучения.


Чтобы лучше всего справиться с задачей автоматического создания трейлеров фильма, исследователи разделили его на две подзадачи, а именно: определение повествовательной структуры фильма и предсказание чувства (т. Е. Настроения и чувства), передаваемого им. Таким образом, созданная ими техника обрабатывает как части фильма (то есть видео), так и текстовые отрывки из сценария фильма.


«Мы моделируем фильмы в виде графов, где узлы - это кадры, а края обозначают семантические отношения между ними», - написали в своей статье Пинелопи Папаламиди, Фрэнк Келлер и Мирелла Лапата, три исследователя, проводившие исследование. Мы изучаем эти отношения с помощью совместного обучения сопоставлению, которое использует привилегированную текстовую информацию (например, персонажи, действия, ситуации) из сценариев. Затем неконтролируемый алгоритм проходит по графу и генерирует трейлеры ».


По сути, созданный ими метод создания трейлеров фильма состоит из двух нейронных сетей. В то время как одна из этих сетей обрабатывает мультимодальные представления кадров, полученные из видеопотока фильма, другая анализирует текстовые представления сцены, основанные на сценарии фильма.


Вместе две нейронные сети могут определять поворотные моменты в фильме, которые являются особенно важными частями фильма и которые должны быть показаны в трейлерах. Поворотные моменты в фильмах обычно включают возможность, изменение плана, точку невозврата, серьезную неудачу и кульминацию.


Папалампиди, Келлер и Лапата оценили свою технику создания трейлеров к фильмам в серии тестов. Примечательно, что они обнаружили, что он может определять поворотные моменты в фильмах со значительно большей точностью, чем другие базовые методы для создания трейлеров к фильмам.


Кроме того, исследователи использовали свою модель для создания трейлеров к 41 разному фильму. Затем они сравнили качество созданных трейлеров с качеством трейлеров, созданных с помощью методов, обученных с помощью контролируемого обучения, задавая вопросы зрителям, набранным на Amazon Mechanical Turk (AMT), какие из них они предпочитают. Интересно, что большинство респондентов отдали предпочтение трейлерам, созданным их техникой, а не моделям под наблюдением.


Хотя модель, созданная Папалампиди, Келлером и Лапатой, возможно, еще не создает идеальных трейлеров, в конечном итоге ее могут использовать кинокомпании для облегчения и ускорения производства трейлеров. Тем временем команда планирует продолжить работу над своей техникой, чтобы улучшить качество производимых ею прицепов.


«В будущем мы хотели бы сосредоточиться на методах прогнозирования тонких эмоций (например, горя, отвращения, ужаса, радости) в фильмах», - добавили исследователи в своей статье. «В этой работе мы рассматриваем положительные / отрицательные настроения как замену эмоциям из-за отсутствия внутридоменных наборов данных. Возможности для будущей работы включают новые наборы данных об эмоциях для фильмов, а также модели обнаружения эмоций на основе текстовых и аудиовизуальных сигналов ».


Details

Report this page