“Severity Ratings”

Review Journal : The Relationship Between Problem Frequency and Problem Severity in Usability Evaluations

J Sauro, Journal of Usability Studies

Sering terjadi, usability testing justru menghasilkan lebih banyak permasalahan yang tidak tertangani oleh tim pengembang. Untuk memprioritaskan masalah mana yang perlu diperbaiki pengembang, para ahli UX harus menjelaskan dua “elemen penting tapi terpisah” yang ditemui para peserta usability testing. Apakah “elemen penting tapi terpisah itu?”, yaitu frekuensi masalah dan tingkat keparahan. Misalnya, bisa jadi 1 dari 10 peserta memiliki masalah dengan situs web keuangan yang secara tidak sengaja memposting informasi pribadinya untuk dilihat semua orang (frekuensi rendah dan tingkat keparahan tinggi). Atau 9 dari 10 peserta dalam studi yang sama mungkin agak jengkel karena harus membatalkan pilihan untuk menerima komunikasi pemasaran dari perusahaan keuangan (frekuensi tinggi dan tingkat keparahan rendah).

Mengukur frekuensi suatu masalah pada umumnya mudah. Jumlah peserta dalam tes kegunaan yang menemui masalah dibagi dengan jumlah total peserta, menghasilkan proporsi yang mengalami masalah. Misalnya, jika 1 dari 5 peserta mengalami masalah, frekuensi masalahnya adalah, 20 atau 20%. Dibandingkan dengan frekuensi, penilaian tingkat keparahan masalah kurang objektif daripada menemukan frekuensi masalah. Pertama, ada sejumlah cara untuk menetapkan peringkat keparahan dan cenderung ada ketidaksepakatan antara evaluator ketika menetapkan keparahan (Nielsen, 1993). Meskipun ada sejumlah sistem peringkat keparahan yang berbeda yang diusulkan selama beberapa dekade terakhir, secara umum, masing-masing metode mengusulkan struktur yang serupa: seperangkat kategori yang dipesan yang mencerminkan dampak yang dirasakan masalah pada pengguna, dari kecil ke besar (Hertzum , 2006).

Lewis (2012) membuat perbedaan antara penilaian yang didorong dari jugdment dan data untuk tingkat keparahan. Peringkat yang didorong dari judgment bergantung pada para pemangku kepentingan penelitian untuk menentukan seberapa besar dampak masalah kegunaan. Sedangkan peringkat yang didorong berdasarkan data menggunakan kriteria seperti kemudahan koreksi, kemungkinan penggunaan, dan dampak pada penyelesaian tugas (Hassenzahl, 2000). Sebagai contoh, Nielsen (1993) mengusulkan skala 5 poin dari “kosmetik” (1) ke “bencana” (4) dengan nol (0) yang menunjukkan tidak ada masalah kegunaan. Rubin dan Chisnell (2008) mengusulkan skala 4 poin dari “tidak dapat digunakan” (poin 4) menjadi menjengkelkan (1). Dumas dan Redish (1999) juga mengusulkan skala 4 poin dari “masalah halus” (4) ke “masalah yang lebih besar yang mencegah penyelesaian tugas” (1). Dua pendekatan terakhir adalah contoh-contoh prioritas yang didorong oleh data.

Makalah ini menganalisis sembilan studi dan menunjukkan tidak ada korelasi antara frekuensi masalah dan tingkat keparahan masalah dalam set masalah usability. Dengan sedikit bukti yang mendukung korelasi, itu menunjukkan beberapa pengguna pertama tidak lebih mungkin untuk mengungkap masalah yang lebih parah — bertentangan dengan salah satu temuan Virzi (1992) dan mendukung temuan Lewis (1994). Analisis ini tidak bertentangan dengan temuan penting lain dari Virzi dan Lewis – bahwa beberapa pengguna pertama cenderung mengungkap masalah yang paling sering terjadi – tetapi menyarankan praktisi masih dapat menggunakan ukuran sampel kecil untuk mengidentifikasi masalah kegunaan yang lebih umum. Para praktisi mungkin dapat melihat korelasi yang tinggi pada frekuensi masalah dan tingkat keparahan dalam banyak studi, tetapi mereka juga cenderung tidak melihat korelasi pada persoalan usability. Satu-satunya strategi yang aman bagi seorang praktisi adalah mengasumsikan bahwa satu-satunya pendorong penemuan adalah asumsi “bahwa masalah berdampak tinggi akan selalu memiliki frekuensi tinggi”.

Yogyakarta, 14 Maret 2019

“halo”

Istilah “Halo effect” pertama kali diperkenalkan dari kalangan peneliti psikologis di tahun 1920, yaitu Edward Thorndike dalam karyanya “A Constant Error in Psychological Ratings”. Penelitian tersebut mengungkapkan bahwa ketika orang diminta untuk menilai orang lain berdasarkan serangkaian sifat, persepsi negatif dari setiap sifat akan menurunkan semua nilai sifat lainnya. Misalnya, orang yang tinggi atau tampan akan dianggap sebagai orang yang cerdas dan dapat dipercaya, meskipun tidak ada alasan logis untuk percaya bahwa tinggi atau penampilan berkorelasi dengan kecerdasan dan kejujuran.

“Halo effect” bekerja baik dalam arah positif dan negatif:

• Jika Anda menyukai satu aspek dari sesuatu, Anda akan memiliki kecenderungan positif terhadap segala hal tentangnya.
• Jika Anda tidak menyukai satu aspek dari sesuatu, Anda akan memiliki kecenderungan negatif terhadap segala sesuatu tentang hal itu.

Istilah “halo” digunakan dalam analogi dengan konsep religius: sebuah lingkaran bercahaya yang dapat terlihat melayang di atas kepala orang-orang kudus dalam lukisan abad pertengahan dan Renaissance yang tak terhitung jumlahnya. Wajah orang suci itu tampak bermandikan cahaya surgawi dari lingkaran cahaya miliknya. Jadi, dengan melihat seseorang dilukis dengan lingkaran cahaya, Anda dapat mengatakan bahwa ini pasti orang yang baik dan layak. Dengan kata lain, Anda memindahkan penilaian Anda dari satu karakteristik orang yang mudah diamati (dicat dengan halo) ke penilaian karakter orang itu (sama sekali tidak ada hubungannya dengan game Halo kan? Hehehe).

Pendek kata, Halo effect merupakan penilaian (judgmental) dari pengguna pada kesan pertama. Contoh yang sering kita lihat adalah bahwa kualitas hasil pencarian internal suatu situs web digunakan untuk menilai keseluruhan kualitas situs, dan, dengan kesimpulan, kualitas merek di balik situs dan produk-produknya. Dengan demikian, pernyataan pengguna dapat dilanjutkan sebagai berikut jika diverbalisasi dalam studi dengan pemikiran keras: “Wow, hasil pencarian ini tidak masuk akal dan muncul dalam urutan yang tampaknya acak. Situs ini dibuat dengan sangat buruk. Perusahaan ini tidak memiliki tindakan bersama-sama dan tidak peduli dengan pelanggan. Saya seharusnya tidak membeli produk-produk ini. ” Perhatikan bahwa setiap langkah dalam rantai kesimpulan ini setidaknya sedikit masuk akal, namun kesimpulan akhir tidak mengikuti dari pengamatan awal. (Kadang-kadang Anda akan mendapatkan produk yang bagus saat membeli dari situs dengan pencarian yang diimplementasikan dengan buruk.) Namun, pengguna tidak benar-benar maju melalui proses penalaran logis. Efek halo bekerja dengan cara pintas semua langkah-langkah ini dan hanya memungkinkan orang untuk membuat penilaian secara keseluruhan berdasarkan kesan mereka terhadap satu atribut.

Dalam banyak kasus, sifat atau karakteristik yang akan digunakan seseorang untuk menilai keseluruhan bukan apa yang terbaik untuk menjawab pertanyaan tertentu; ini adalah dasar heuristik yang menghakimi dan bias kognitif. Contoh: Anda meminta seseorang untuk memberi tahu apakah situs itu mudah digunakan dan mereka berkata, “Ya, itu indah.” Hanya karena itu indah, tidak berarti itu mudah digunakan. Namun menilai keindahan seringkali jauh lebih sederhana daripada menilai kemudahan penggunaan. Inilah sebabnya mengapa analisis berbasis tugas dan triangulasi sumber data sangat penting dalam pekerjaan pengalaman pengguna.

Purwokerto, 3 Maret 2019

sumber : https://www.nngroup.com/articles/halo-effect/