“Severity Ratings”

Review Journal : The Relationship Between Problem Frequency and Problem Severity in Usability Evaluations

J Sauro, Journal of Usability Studies

Sering terjadi, usability testing justru menghasilkan lebih banyak permasalahan yang tidak tertangani oleh tim pengembang. Untuk memprioritaskan masalah mana yang perlu diperbaiki pengembang, para ahli UX harus menjelaskan dua “elemen penting tapi terpisah” yang ditemui para peserta usability testing. Apakah “elemen penting tapi terpisah itu?”, yaitu frekuensi masalah dan tingkat keparahan. Misalnya, bisa jadi 1 dari 10 peserta memiliki masalah dengan situs web keuangan yang secara tidak sengaja memposting informasi pribadinya untuk dilihat semua orang (frekuensi rendah dan tingkat keparahan tinggi). Atau 9 dari 10 peserta dalam studi yang sama mungkin agak jengkel karena harus membatalkan pilihan untuk menerima komunikasi pemasaran dari perusahaan keuangan (frekuensi tinggi dan tingkat keparahan rendah).

Mengukur frekuensi suatu masalah pada umumnya mudah. Jumlah peserta dalam tes kegunaan yang menemui masalah dibagi dengan jumlah total peserta, menghasilkan proporsi yang mengalami masalah. Misalnya, jika 1 dari 5 peserta mengalami masalah, frekuensi masalahnya adalah, 20 atau 20%. Dibandingkan dengan frekuensi, penilaian tingkat keparahan masalah kurang objektif daripada menemukan frekuensi masalah. Pertama, ada sejumlah cara untuk menetapkan peringkat keparahan dan cenderung ada ketidaksepakatan antara evaluator ketika menetapkan keparahan (Nielsen, 1993). Meskipun ada sejumlah sistem peringkat keparahan yang berbeda yang diusulkan selama beberapa dekade terakhir, secara umum, masing-masing metode mengusulkan struktur yang serupa: seperangkat kategori yang dipesan yang mencerminkan dampak yang dirasakan masalah pada pengguna, dari kecil ke besar (Hertzum , 2006).

Lewis (2012) membuat perbedaan antara penilaian yang didorong dari jugdment dan data untuk tingkat keparahan. Peringkat yang didorong dari judgment bergantung pada para pemangku kepentingan penelitian untuk menentukan seberapa besar dampak masalah kegunaan. Sedangkan peringkat yang didorong berdasarkan data menggunakan kriteria seperti kemudahan koreksi, kemungkinan penggunaan, dan dampak pada penyelesaian tugas (Hassenzahl, 2000). Sebagai contoh, Nielsen (1993) mengusulkan skala 5 poin dari “kosmetik” (1) ke “bencana” (4) dengan nol (0) yang menunjukkan tidak ada masalah kegunaan. Rubin dan Chisnell (2008) mengusulkan skala 4 poin dari “tidak dapat digunakan” (poin 4) menjadi menjengkelkan (1). Dumas dan Redish (1999) juga mengusulkan skala 4 poin dari “masalah halus” (4) ke “masalah yang lebih besar yang mencegah penyelesaian tugas” (1). Dua pendekatan terakhir adalah contoh-contoh prioritas yang didorong oleh data.

Makalah ini menganalisis sembilan studi dan menunjukkan tidak ada korelasi antara frekuensi masalah dan tingkat keparahan masalah dalam set masalah usability. Dengan sedikit bukti yang mendukung korelasi, itu menunjukkan beberapa pengguna pertama tidak lebih mungkin untuk mengungkap masalah yang lebih parah — bertentangan dengan salah satu temuan Virzi (1992) dan mendukung temuan Lewis (1994). Analisis ini tidak bertentangan dengan temuan penting lain dari Virzi dan Lewis – bahwa beberapa pengguna pertama cenderung mengungkap masalah yang paling sering terjadi – tetapi menyarankan praktisi masih dapat menggunakan ukuran sampel kecil untuk mengidentifikasi masalah kegunaan yang lebih umum. Para praktisi mungkin dapat melihat korelasi yang tinggi pada frekuensi masalah dan tingkat keparahan dalam banyak studi, tetapi mereka juga cenderung tidak melihat korelasi pada persoalan usability. Satu-satunya strategi yang aman bagi seorang praktisi adalah mengasumsikan bahwa satu-satunya pendorong penemuan adalah asumsi “bahwa masalah berdampak tinggi akan selalu memiliki frekuensi tinggi”.

 

Yogyakarta, 14 Maret 2019

“halo”

Istilah “Halo effect” pertama kali diperkenalkan dari kalangan peneliti psikologis di tahun 1920, yaitu Edward Thorndike dalam karyanya “A Constant Error in Psychological Ratings”. Penelitian tersebut mengungkapkan bahwa ketika orang diminta untuk menilai orang lain berdasarkan serangkaian sifat, persepsi negatif dari setiap sifat akan menurunkan semua nilai sifat lainnya. Misalnya, orang yang tinggi atau tampan akan dianggap sebagai orang yang cerdas dan dapat dipercaya, meskipun tidak ada alasan logis untuk percaya bahwa tinggi atau penampilan berkorelasi dengan kecerdasan dan kejujuran.

“Halo effect” bekerja baik dalam arah positif dan negatif:

  • Jika Anda menyukai satu aspek dari sesuatu, Anda akan memiliki kecenderungan positif terhadap segala hal tentangnya.
  • Jika Anda tidak menyukai satu aspek dari sesuatu, Anda akan memiliki kecenderungan negatif terhadap segala sesuatu tentang hal itu.

Istilah “halo” digunakan dalam analogi dengan konsep religius: sebuah lingkaran bercahaya yang dapat terlihat melayang di atas kepala orang-orang kudus dalam lukisan abad pertengahan dan Renaissance yang tak terhitung jumlahnya. Wajah orang suci itu tampak bermandikan cahaya surgawi dari lingkaran cahaya miliknya. Jadi, dengan melihat seseorang dilukis dengan lingkaran cahaya, Anda dapat mengatakan bahwa ini pasti orang yang baik dan layak. Dengan kata lain, Anda memindahkan penilaian Anda dari satu karakteristik orang yang mudah diamati (dicat dengan halo) ke penilaian karakter orang itu (sama sekali tidak ada hubungannya dengan game Halo kan? Hehehe).

Pendek kata, Halo effect merupakan penilaian (judgmental) dari pengguna pada kesan pertama. Contoh yang sering kita lihat adalah bahwa kualitas hasil pencarian internal suatu situs web digunakan untuk menilai keseluruhan kualitas situs, dan, dengan kesimpulan, kualitas merek di balik situs dan produk-produknya. Dengan demikian, pernyataan pengguna dapat dilanjutkan sebagai berikut jika diverbalisasi dalam studi dengan pemikiran keras: “Wow, hasil pencarian ini tidak masuk akal dan muncul dalam urutan yang tampaknya acak. Situs ini harus dilakukan dengan sangat buruk. Perusahaan ini tidak memiliki tindakan bersama-sama dan tidak peduli dengan pelanggan. Saya seharusnya tidak membeli produk-produk ini. ” Perhatikan bahwa setiap langkah dalam rantai kesimpulan ini setidaknya sedikit masuk akal, namun kesimpulan akhir tidak mengikuti dari pengamatan awal. (Kadang-kadang Anda akan mendapatkan produk yang bagus saat membeli dari situs dengan pencarian yang diimplementasikan dengan buruk.) Namun, pengguna tidak benar-benar maju melalui proses penalaran logis. Efek halo bekerja dengan cara pintas semua langkah-langkah ini dan hanya memungkinkan orang untuk membuat penilaian secara keseluruhan berdasarkan kesan mereka terhadap satu atribut.

Dalam banyak kasus, sifat atau karakteristik yang akan digunakan seseorang untuk menilai keseluruhan bukan apa yang terbaik untuk menjawab pertanyaan tertentu; ini adalah dasar heuristik yang menghakimi dan bias kognitif. Contoh: Anda meminta seseorang untuk memberi tahu apakah situs itu mudah digunakan dan mereka berkata, “Ya, itu indah.” Hanya karena itu indah, tidak berarti itu mudah digunakan. Namun menilai keindahan seringkali jauh lebih sederhana daripada menilai kemudahan penggunaan. Inilah sebabnya mengapa analisis berbasis tugas dan triangulasi sumber data sangat penting dalam pekerjaan pengalaman pengguna.

 

Purwokerto, 3 Maret 2019

sumber : https://www.nngroup.com/articles/halo-effect/

 

 

“pohon cabang estetis”

 

Review Journal : The effects of aesthetic in usability testing for B2C websites.

Hejin Gu, dkk. (2016), ChineseCHI2016, May 08 2016, DOI: http://dx.doi.org/10.1145/2948708.2948712.

 

Secara tradisional, situs e-commerce menekankan pada kecepatan pencarian barang yang akurat, kelancaran pemesanan dan pembayaran. Efisiensi merupakan tujuan utama dari desain pengalaman pengguna situs e-commerce. Studi terbaru menemukan bahwa elemen estetika (keindahan) dan pengalaman estetika untuk produk interaktif tidak hanya memengaruhi kepuasan pengguna secara keseluruhan terhadap produk, keceriaan, hasrat penggunaan kembali, dan kepercayaan, tetapi juga berdampak pada usability, kinerja pengguna, dan efektivitas elemen instrumental.

Kurosu, dkk (1995) menemukan bahwa, untuk pengguna Jepang, ada korelasi positif yang signifikan antara penilaian estetika antarmuka ATM dan usability. Pada tahun 1997, Tractinsky mereplikasi penelitian empiris Kurosu di Israel dan juga menemukan bahwa estetika visual ATM memiliki efek pada usability  dan memicu sebuah sudut pandang “what is beautiful is usable”. Mereka percaya bahwa evaluasi dimensi lain dari pengalaman produk cenderung lebih tinggi ketika perasaan estetika mereka produk yang sama tinggi (biasa disebut dengan “Halo effect”) ~ (ps : penjelasan mengenai Halo effect akan saya bahas pada postingan berbeda ya).

Pada penelitian ini, Gu dkk menguji 3 situs web e-commerce B2C di China dengan melibatkan 30 pengguna (12 laki-laki dan 18 perempuan, rata-rata usianya 25 tahun, dengan standar deviasi 3.6). Alasan pemilihan situs B2C dikarenakan transaksi melalui saham B2C lebih lanjut dari setengah pasar ritel online di China. Dengan demikian, situs B2C menjadi platform penting e-commerce dan pengalaman penggunanya memainkan peran penting dalam keberhasilan ritel online. Gu dkk menggunakan Personal Computer (PC) dengan layar 20 inchi dan resolusi 1600×900 piksel. Enam tugas diberikan pada pengguna diantaranya mencari pesanan terbaru di akun pribadi, menanyakan saldo akun, dll. Estetika dan usability dapat dipengaruhi oleh warna, tata letak dan arsitektur informasi dari halaman web.

Hasil dari penelitian ini menunjukkan bahwa terdapat hubungan positif antara estetika dan usability, dan pernyataan bahwa “apa yang indah itu bisa digunakan” pada konteks budaya China dapat dibuktikan. Hasil menunjukkan bahwa ada korelasi yang melekat antara desain estetika dan usability yang mengingatkan para desainer untuk mengambil kedua faktor tersebut dalam merancang antarmuka situs B2C. Jika desainer ingin mendapatkan peringkat usability yang tinggi, halaman web yang interaktif dan menyenangkan secara estetika harus mendapatkan perhatian lebih. Para desainer seharusnya tidak hanya mempertimbangkan elemen estetika antarmuka satu halaman dan usability yang jelas, tetapi juga harus mempertimbangkan mengenai arsitektur halaman dan “entrance name”.