Подпись к изображению

Создание подписей к изображениям с помощью аудио стало сложной но перспективной задачей в области глубокого обучения. В данной работе предлагается новый подход к решению этой задачи путем объединения конволюционных нейронных сетей (CNN) для извлечения признаков изображения и рекуррентных нейронных сетей (RNN) для последовательного анализа аудио. В частности мы используем предварительно обученные CNN такие как VGG для извлечения визуальных признаков из изображений и используем представления спектрограмм в сочетании с RNN такими как LSTM или GRU для обработки аудиовходов. Предлагаемая нами модель основывается не только на визуальном содержании изображений но и на сопутствующих аудиосигналах. Мы оцениваем производительность нашей модели на эталонных наборах данных и демонстрируем ее эффективность в генерации связных и контекстуально релевантных подписей к изображениям с соответствующими аудиовходами. Кроме того мы проводим анализ вклада каждой модальности в общую производительность создания титров. Наши результаты показывают что объединение визуальной и слуховой модальностей значительно улучшает качество создания титров по сравнению с изолированным использованием одной из модальностей.