Riconoscimento multimodale delle emozioni mediante reti di apprendimento profondo

Questo libro Multimodal Emotion Recognition Using Deep Learning Networks si concentra sul miglioramento del riconoscimento delle emozioni attraverso la combinazione di più fonti di dati (modalità) come le espressioni facciali l'EEG e i segnali fisiologici. I modelli di apprendimento profondo vengono utilizzati per estrarre le caratteristiche da ciascuna modalità e le tecniche di fusione (come l'approccio late fusion) integrano queste caratteristiche per fare previsioni più accurate sulle emozioni. Lo studio dimostra che la fusione multimodale aumenta significativamente le prestazioni rispetto ai sistemi monomodali evidenziando l'importanza di combinare spunti emotivi complementari utilizzando architetture di rete neurale avanzate.