Nielsen, Jakob, and Landauer, Thomas K.: “A mathematical model of the finding of usability problems,” Proceedings of ACM INTERCHI’93 Conference (Amsterdam, The Netherlands, 24-29 April 1993), pp. 206-213.

 

Ya, cukup 5 user saja untuk melakukan usability testing. Beberapa orang berpikir bahwa usability testing akan menghabiskan banyak waktu dan biaya. INI TIDAK BENAR! Hasil terbaik dari pengujian tidak lebih dari 5 user pada pengujian kecil sebanyak yang anda mampu.

Pada penelitian yang dilakukan Tom Landauer dan Nielsen, terlihat bahwa jumlah persoalan usability ditemukan pada n user adalah

N (1-(1- L ) ⁿ )

Dimana

N = jumlah total masalah kegunaan dalam desain  

L = proporsi masalah kegunaan yang ditemukan saat menguji satu pengguna.

Nilai  L adalah 31%, dirata-ratakan di sejumlah besar proyek yang telah diteliti oleh Nielsen. Kurva untuk L = 31% memberikan hasil sebagai berikut:

 

Grafik diatas menggambarkan :

• Kebenaran yang paling mencolok dari kurva adalah bahwa jumlah user nol memberi hasil nol (tidak menunjukkan usability problem sama sekali).

 

• Ketika kita menguji usability dengan 1 user saja, sudah menunjukkan hampir sepertiga dari semua yang perlu diketahui tentang usability problem pada desain. Perbedaan antara nol dan bahkan sedikit data pun mencengangkan.
• Ketika kita menambah user menjadi 2, kita akan menemukan bahwa orang ini melakukan beberapa hal yang sama dengan pengguna pertama, jadi ada beberapa tumpang tindih dengan apa yang telah kita pelajari dari user pertama. Meskipun demikian, setiap orang adalah unik, sehingga akan ada juga sesuatu yang baru yang pengguna kedua lakukan yang tidak kita amati dengan user pertama. Jadi user kedua menambahkan sejumlah wawasan baru, namun tidak sebanyak user pertama.

 

• User ketiga akan melakukan banyak hal yang sudah kita amati dengan user pertama dan atau user kedua dan bahkan beberapa hal yang sudah kita lihat dua kali. Plus, tentu saja, user ketiga akan menghasilkan sejumlah kecil data baru, meski tidak sebanyak user pertama dan user kedua.

• Saat kita menambahkan lebih banyak pengguna, kita belajar lebih sedikit dan kurang karena kita akan terus melihat hal yang sama berulang-ulang. Tidak ada kebutuhan nyata untuk terus mengamati hal yang sama beberapa kali, dan kita akan sangat termotivasi untuk kembali ke papan gambar dan merancang ulang situs untuk menghilangkan masalah usability.

• Setelah user kelima, kita akan membuang-buang waktu dengan mengamati temuan yang sama berulang kali namun tidak banyak belajar hal-hal baru mengenai usability problem.

Meskipun grafik diatas menunjukkan, setidaknya ada 15 user yang dilibatkan dalam pengujian, akan tetapi, hal ini tidak dianjurkan. Mengapa? lebih baik kita mendistribusikan anggaran untuk tes-tes kecil pada 3-5 user saja. Terlalu banyak user yang dilibatkan tidak akan menghasilkan studi yang signifikan terhadap permasalahan usability. Yang lebih penting adalah iterative design! Uji-perbaiki-uji lagi-perbaiki lagi, sampai benar2 fix tanpa problem lagi.

Jadi, mengapa tidak pakai satu user saja untuk pengujian? hal ini terlalu beresiko, kita perlu meneliti pendapat orang lain juga untuk memberikan masukan terkait desain. Lagipula, dari hasil pengujian menggunakan analisis cost benefit menunjukkan rasio optimal sekitar 3 atau 5 pengguna, bergantung pada gaya pengujian.

Nah, begitulah kira2 mengapa hanya perlu 5 pengguna saja dalam pengujian usability!

Yogyakarta, 23 Agustus 2017