Tom Tullis, Bill Albert : Measuring the user experience

Severity ratings atau tingkat kepelikan permasalahan usability tidak selalu sama, beberapa issue nampak serius dibandingkan yang lain. Sebagian usability issues antara lain user yang frustasi atau jengkel sehingga menimbulkan kesalahan dalam membuat keputusan atau kehilangan data. Terdapat dua tipe sistem pemeringkatan kepelikan :

1. Severity ratings berdasarkan murni pada dampak terhadap pengalaman pengguna (user experience), semakin buruk user experience, maka severity ratings semakin tinggi.
2. Severity ratings yang membawa dampak pada beberapa faktor, seperti user experience, prediksi frekuensi dari penggunaan, dan dampak terhadap tujuan bisnis. Dalam hal ini severity ratings yang tinggi berarti user gagal dalam melakukan tugas yang sangat penting pada proses bisnis. Misalkan, seseorang yang ingin membeli sesuatu di situs web, menemukan produknya, tapi kemudian gagal membelinya.

Severity Ratings Based on the User Experience

Rendah:

Setiap masalah yang mengganggu atau membuat frustrasi partisipan namun tidak memiliki peranan dalam kegagalan saat menyelesaikan task. Inilah jenis masalah yang mungkin menyebabkan seseorang keluar jalur, tapi masih dapat diatasi sehingga user dapat menyelesaikan tugasnya. Masalah ini hanya dapat mengurangi efisiensi dan / atau kepuasan dalam jumlah kecil, jika ada.

Sedang:

Setiap masalah yang berkontribusi namun tidak secara langsung mempengaruhi kegagalan tugas. Peserta sering mengembangkan pekerjaan sekitarnya untuk mendapatkan apa yang mereka butuhkan. Masalah ini memiliki dampak pada efektivitas dan kemungkinan efisiensi dan kepuasan.

Tinggi:

Setiap masalah yang langsung menyebabkan kegagalan dalam melaksanakan tugas. Jenis masalah ini memiliki dampak yang signifikan pada efektivitas, efisiensi, dan kepuasan.

Severity Ratings Based on a Combination of Factors

Rubin (1994) menawarkan cara yang berbeda untuk melihat kombinasi tingkat keparahan dan frekuensi terjadinya masalah. Pertama, dia memberikan tingkat kepelikan pada 4 poin skala (1 = iritan, 2 = sedang, 3 = berat, 4 = tidak dapat digunakan). Selanjutnya, dikelompokkan berdasarkan frekuensi terjadinya, juga pada skala 4 :

1 = terjadi <10 persen dari waktu;

2 = terjadi 11 sampai 50 persen dari waktu;

3 = terjadi 51 sampai 89 persen dari waktu;

4 = terjadi lebih dari 90 persen dari waktu.

Pendekatan ini memberikan tingkat kepelikan dalam bentuk skor numeris  yang mungkin bisa membantu bila dikombinasikan dengan jenis data lainnya.

Gambar di bawah ini menunjukkan panduan pengambilan keputusan tentang skala pemeringkatan dengan mempertimbangkan frekuensi dan dampak masalah terhadap pengalaman pengguna.

Penggunaan severity rating system

Setelah menyelesaikan sistem penilaian tingkat kepelikan sebuah permasalahan user experience,  beberapa hal yang perlu dipertimbangkan antara lain : 

Pertama, konsisten:

Tentukan satu sistem penilaian tingkat kepelikan, dan gunakan itu untuk semua studi Anda. Dengan menggunakan sistem penilaian tingkat kepelikan yang sama, akan dapat dibuat perbandingan bermakna pada keseluruhan penelitian, serta membantu melatih audiens  pada perbedaan antara tingkat kepelikan. Semakin banyak pendengar  menginternalisasi sistem ini, semakin persuasif dalam mempromosikan solusi perancangan.

Kedua, jelas komunikasikan apa arti setiap tingkat:

Berikan contoh masing-masing tingkatkan sebanyak mungkin, hal ini sangat penting bagi usability specialist lain pada tim yang mungkin juga menentukan peringkat. Penting agar pengembang, perancang, dan analis bisnis memahami setiap tingkat kepelikannya. ketidakmampuan  audiens memahami setiap tingkat, semakin mudah untuk mempengaruhi solusi desain untuk masalah dengan prioritas tertinggi.

Ketiga, usahakan agar lebih dari satu kegunaan spesialis menentukan tingkat keparahan masing-masing isu.

Salah satu pendekatan yang berjalan dengan baik adalah memiliki spesialis kegunaan memberikan penilaian keparahan secara tersendiri kepada masing-masing masalah, kemudian mendiskusikan masalah apa pun dimana mereka memberikan peringkat yang berbeda dan mencoba untuk menyepakati tingkat yang sesuai.

Yogyakarta, 13 September 2017