Peningkatan Performa Analisis Sentimen Dengan Resampling dan Hyperparameter pada Ulasan Aplikasi BNI Mobile

Abstract

Penggunaan mobile banking meningkat seiring dengan kemajuan teknologi. Hampir setiap bank di Indonesia memiliki layanan mobile banking, termasuk BNI. Menurut survei dari Top Brand Award, BNI Mobile Banking menurun menjadi nomor 4 pada tahun 2016 dan 2017. Artinya terdapat relasi yang kuat antara ulasan pemakai aplikasi terhadap kinerja aplikasi. Dengan demikian membawa akibat pada pentingnya mempertahankan kualitas layanan serta kemampuan untuk bersaing dengan bank lain. Beberapa penelitian analisis sentimen sebelumnya belum melihat ketersediaan apakah dataset sudah dieksplorasi keseimbangannya atau tidak untuk meningkatkan performa model yang dipilih. Oleh karena itu, dalam artikel ini mencoba melakukan analisis sentimen pada ulasan pengguna aplikasi BNI Mobile Banking di Google Play sebanyak 6954 data terpilih dengan label positif dan negatif dan menggunakan 7 metode dasar sebagai baseline untuk dipilih satu yang mempunyai performa terbaik yitu Support Vector Classifier, setelah dilakukan resampling dataset dengan Repeated Edited Nearest Neighbours dan hyperparameter model C=1, degree=2 kernel poly didapatkan akurasi sebesar 98.54% pada data training dan akurasi 100% pada data uji. Selanjutnya dari 26 data mentah baru dilakukan eksperimen dan menghasilkan prediksi benar sebesar 19 sementara 7 salah dengan error rate sebesar 27%.