Multimodalne rozpoznawanie emocji z wykorzystaniem sieci głębokiego uczenia

Ta książka Multimodalne rozpoznawanie emocji przy użyciu sieci głębokiego uczenia koncentruje się na poprawie rozpoznawania emocji poprzez łączenie wielu źródeł danych (modalności) takich jak mimika twarzy EEG i sygnały fizjologiczne. Modele głębokiego uczenia są wykorzystywane do wyodrębniania cech z każdej modalności a techniki fuzji (takie jak podejście późnej fuzji) integrują te cechy w celu dokładniejszego przewidywania emocji. Badanie pokazuje że fuzja multimodalna znacznie zwiększa wydajność w porównaniu z systemami jednomodalnymi podkreślając znaczenie łączenia uzupełniających się wskazówek emocjonalnych przy użyciu zaawansowanych architektur sieci neuronowych.