Analisis Pengaruh Fungsi Aktivasi, Learning Rate Dan Momentum Dalam Menentukan Mean Square Error (MSE) Pada Jaringan Saraf Restricted Boltzmann Machines (RBM)

Abstract

Restricted boltzmann machines (RBM) merupakan algoritma pembelajaran jaringan syaraf tanpa pengawaas (unsupervised learning) yang hanya terdiri dari dua lapisan yang visible layer dan hidden layer. Kinerja RBM sangat dipengaruhi oleh parameter-parameternya seperti fungsi aktivasi yang digunakan untuk mengaktifkan neuron pada jaringan dan learning rate serta momentum untuk mempercepat proses pembelajaran. Pemilihan fungsi aktivasi yang tepat sangat mempengaruhi kinerja dalam menentukan Mean Square Error (MSE) pada jaringan saraf RBM. Fungsi aktivasi yang digunakan pada jaringan RBM adalah fungsi aktivasi sigmoid. Beberapa varian dari fungsi aktivasi sigmoid seperti fungsi sigmoid biner dan sigmoid tangen hiperbolik (tanh). Dengan menggunakan dataset MNIST untuk pembelajaran dan pengujian, terlihat bahwa tingkat keberhasilan untuk klasifikasi pada fungsi aktivasi sigmoid biner, ditentukan oleh nilai MSE yang kecil. Berbeda dengan fungsi aktivasi tangen nilai MSE menaik seiring bertambahnya jumlah epoch. Fungsi aktivasi sigmoid biner dengan learning rate 0.05 dan momentum 0.7 memiliki tingkat pengenalan tulisan tangan yang tinggi sebesar 93.42%, diikuti dengan learning rate 0.01 momentum 0.9 yakni 91.92%, learning rate 0.05 momentum 0.5 yakni 91.31%, learning rate 0.01 momentum 0.7 sebesar 90.56% dan terakhir learning rate 0.01 momentum 0.5 sebesar 87.49%.