IMPLEMENTASI ALGORITMA CONVOLUTIONAL NEURAL NETWORK (CNN) DALAM SISTEM KLASIFIKASI EMOSI MELALUI SUARA BERBASIS APLIKASI MOBILE IMPLEMENTASI ALGORITMA CONVOLUTIONAL NEURAL NETWORK (CNN) DALAM SISTEM KLASIFIKASI EMOSI MELALUI SUARA BERBASIS APLIKASI MOBILE

Detail Cantuman

Prodi Teknik Informatika

IMPLEMENTASI ALGORITMA CONVOLUTIONAL NEURAL NETWORK (CNN) DALAM SISTEM KLASIFIKASI EMOSI MELALUI SUARA BERBASIS APLIKASI MOBILE

XML

Kemampuan mesin untuk mengenali emosi dari suara dikenal dengan istilah SpeechEmotion Recognition (SER).Penelitian ini mengembangkan sistem klasifikasiemosi suara menggunakan Convolutional Neural Network (CNN) dan diterapkandalam bentuk aplikasi mobile Android. Permasalahan utama yang diangkat adalahbagaimana mengenali emosi manusia melalui sinyal suara secara akurat, efisien,dan real-time pada perangkat mobile. Penelitian dilakukan dengan dua tahappelatihan, yaitu pre-training menggunakan dataset RAVDESS dan fine-tuningdengan dataset IndoWaveSentiment. Data audio dikonversi menjadi Melspectrogramberdimensi128×128×1untukmenjadiinputCNN.ModelCNNterdiridaritiga blok konvolusi dan pooling, serta lapisan dense dan softmax. Setelahdilatih, model dikonversi ke format TensorFlow Lite dan diintegrasikan denganaplikasi Android melalui arsitektur client-server menggunakan Flask. Hasilpengujian menunjukkan bahwa sistem mampu mengenali emosi netral, senang,kecewa, dan terkejut dengan tingkat akurasi tinggi baik pada data uji tetapi padasuara rekaman langsung tidak sebaik data uji. Sistem juga dilengkapi fitur historiberbasis SQLite. Hasil pengujian menunjukkan akurasi 96% pada data uji eksternaldan 55% pada suara rekaman langsung, dengan rata-rata akurasi 75,5%. Hal inimenandakan model bekerja sangat baik dalam kondisi terstruktur, namun masihperlu peningkatan untuk input nyata.

Kata Kunci : CNN, klasifikasi emosi suara, Mel-spectrogram, TensorFlow Lite,Android.

Detail Information

Item Type
Laporan Tugas Akhir
Penulis
Naufal Ammar Raihan - Personal Name
Student ID
2021150074
Dosen Pembimbing
M. Fuat Asnawi, S.Kom., M.M. - - Dosen Pembimbing 1
Iman Ahmad Ihsanuddin, S.Pd.Kom, M.Pd - - Dosen Pembimbing 2
Penguji
Kode Prodi PDDIKTI
55201
Edisi
Published
Departement
Teknik Informatika
Kontributor
Bahasa
Indonesia
Penerbit Universitas Sains Al-Qur'an : Wonosobo.,
Edisi
Published
Subyek
Teknik Informatika
No Panggil
Copyright
Individu Penulis
Doi

Lampiran Berkas

LOADING LIST...



Informasi

DETAIL CANTUMAN

Kembali ke sebelumnya  XML Detail