<![CDATA[IMPLEMENTASI ALGORITMA CONVOLUTIONAL NEURAL NETWORK (CNN) DALAM SISTEM KLASIFIKASI EMOSI MELALUI SUARA BERBASIS APLIKASI MOBILE]]>
Naufal Ammar Raihan
Pengarang
Iman Ahmad Ihsanuddin, S.Pd.Kom, M.Pd
Dosen Pembimbing 2
M. Fuat Asnawi, S.Kom., M.M.
Dosen Pembimbing 1
Iman Ahmad Ihsanuddin, S.Pd.Kom, M.Pd
Penguji 2
M.Fuat Asnawi, S.Kom., M.m.
Penguji 1
Kemampuan mesin untuk mengenali emosi dari suara dikenal dengan istilah SpeechEmotion Recognition (SER).Penelitian ini mengembangkan sistem klasifikasiemosi suara menggunakan Convolutional Neural Network (CNN) dan diterapkandalam bentuk aplikasi mobile Android. Permasalahan utama yang diangkat adalahbagaimana mengenali emosi manusia melalui sinyal suara secara akurat, efisien,dan real-time pada perangkat mobile. Penelitian dilakukan dengan dua tahappelatihan, yaitu pre-training menggunakan dataset RAVDESS dan fine-tuningdengan dataset IndoWaveSentiment. Data audio dikonversi menjadi Melspectrogramberdimensi128×128×1untukmenjadiinputCNN.ModelCNNterdiridaritiga blok konvolusi dan pooling, serta lapisan dense dan softmax. Setelahdilatih, model dikonversi ke format TensorFlow Lite dan diintegrasikan denganaplikasi Android melalui arsitektur client-server menggunakan Flask. Hasilpengujian menunjukkan bahwa sistem mampu mengenali emosi netral, senang,kecewa, dan terkejut dengan tingkat akurasi tinggi baik pada data uji tetapi padasuara rekaman langsung tidak sebaik data uji. Sistem juga dilengkapi fitur historiberbasis SQLite. Hasil pengujian menunjukkan akurasi 96% pada data uji eksternaldan 55% pada suara rekaman langsung, dengan rata-rata akurasi 75,5%. Hal inimenandakan model bekerja sangat baik dalam kondisi terstruktur, namun masihperlu peningkatan untuk input nyata.
Kata Kunci : CNN, klasifikasi emosi suara, Mel-spectrogram, TensorFlow Lite,Android.