RSUD SMART memiliki layanan SMS Center yang digunakan untuk berinteraksi dengan masyarakat dalam menerima pertanyaan, masukan, saran dan kritik maupun pengaduan. Informasi yang diterima dalam bentuk sms hanya disimpan dan tidak dikelompokkan berdasarkan unit atau layanan yang dituju sehingga pihak manajemen rumah sakit tidak bisa mengukur tingkat pelayanan di tiap unit. Penelitian ini melakukan klasifikasi terhadap data SMS dan saran responden dari masyarakat yang ditujukan kepada Direktur Rumah Sakit. Data SMS yang diklasifikasi berasal dari database aplikasi SMS Center RSUD SMART Pamekasan. Data SMS dan saran responden diklasifikasikan dalam 10 kelas yaitu Rawat Inap, Rawat jalan, Laboratorium, Farmasi, BPJS, Humas, Loket Pembayaran, Sarana dan Prasarana, Profesi dan tidak Terklasifikasi, serta melakukan scoring sms. Sebelum melakukan proses klasifikasi terlebih dahulu dilakukan pre-processing seperti penyamaan karakter, penghapusan tanda baca, mengembalikan singkatan, terjemah bahasa daerah (Bahasa Madura), penghapusan angka, penghapusan kata yang tidak penting dalam SMS, dan stemming untuk mengubah kata menjadi kata dasar. Penelitian ini menggunakan algoritma Naive Bayes dengan Two Stage (TS) Smoothing. Dalam beberapa uji coba yang telah dilakukan terhadap 2292 data dengan presentase data traning sebesar 20%, 30%, 40% dan 50% mendapatkan rata-rata akurasi sebesar 82,97% dengan nilai λ=0.2, μ=2000 dan threshold=3. Bahkan dalam salah satu uji coba klasifikasi dengan threshold statis mencapai akurasi 86,73% sedangkan akurasi terendah dengan threshold dinamis mencapai 74,28%. Pengaturan threshold statis terbukti meningkatkan akurasi klasifikasi sebesar 6,14%