Apa yang Anda pertimbangkan dalam memilih perguruan tinggi? Pernahkah Anda mendengar peringkat sebuah universitas? Mengapa sebuah universitas memiliki peringkat berbeda2? Saya akan membahas nya satu persatu.

Pada umumnya, pemeringkatan sebuah universitas dilakukan untuk mempermudah calon mahasiswa dalam memilih perguruan tinggi, memperlihatkan “kualitas” perguruan tinggi yang bersangkutan, atau melihat dimana “posisi” kampus kita. Hal ini mendukung adanya keinginan setiap perguruan tinggi menjadi World Class University. Kualitas perguruan tinggi yang diakui oleh internasional akan menjadi tolak ukur keberhasilan dalam mencapai tujuan menjadi universitas kelas dunia. Akan tetapi, metode dan kriteria sebuah lembaga pemeringkat perguruan tinggi sangat bervariasi, sehingga, hasilnya akan berbeda satu sama lain. Beberapa versi pemeringkatan universitas antara lain webometrics, uniRank, eduroute, QS, dan DIKTI.

Webometrics

Merupakan peringkat universitas yang populer di Indonesia, bahkan sering dijadikan “acuan” kualitas perguruan tinggi. Webometrics digagas oleh sejumlah peneliti dari Cybermetrics Lab, Spanyol sejak 2004. Webometrics rilis setiap semester (setahun 2 kali) dengan meranking sekitar 12 ribu universitas di seluruh dunia. Mereka menggunakan metode penilaian 50% impact dan 50% activity (dibagi lagi menjadi 3 kriteria yaitu presence, openess dan scholar).

Webometrics menghitung sejumlah aktifitas sebuah perguruan tinggi di dunia maya. Semakin populer (dilihat dari impact — jumlah link yang merujuk pada halaman web), semakin eksis (dilihat dari banyaknya jumah halaman web, dan frekuensi update web), semakin terbuka (dilihat dari banyaknya jumlah file pdf yang dapat diakses pengguna), dan semakin aktif meneliti (dilihat dari banyaknya jumlah publikasi dosen, mahasiswa dan staff yang di share), maka semakin baik rankingnya. Webometrics menggunakan tools majesticSEO dan ahrefs untuk melihat indikator jumlah backlink, serta google scholar dan schimago untuk melihat indikator publikasi. Jumlah file terbuka yang dapat diindeks oleh google juga dijadikan indikator penilaian.

Indikator webometrics sangat bergantung pada komitmen institusi terhadap publikasi web. Dengan demikian, terdapat kemungkinan beberapa universitas dengan kualitas akademik tinggi  berada pada peringkat rendah dari yang diharapkan, dikarenakan kebijakan publikasi web yang dibatasi. Sebagai contoh, sebuah universitas memiliki kebijakan privasi perguruan tinggi untuk tidak membuka akses publikasi ilmiah dosen dan mahasiswa, sehingga pengguna internet tidak dapat leluasa mengunduh artikel2 karya ilmiah tersebut.

uniRank

uniRank^™ (dulu disebut 4 International Colleges & Universities or 4icu.org) merupakan pemeringkatan universitas berdasarkan popularitas website. Sejak tahun 2005, uniRank merilis peringkat sekitar 12,358 universitas, pada 200 negara. Kriteria penilaian berdasarkan algoritma 5 metrik yang independen dan tidak bias bersumber dari 4 web intelligence :

1. Moz Domain Authority
2. Alexa Global Rank
3. SimilarWeb Global Rank
4. Majestic Referring Domains
5. Majestic Trust Flow

Metodologi yang digunakan dalam situs ini menempatkan perguruan tinggi dan universitas berdasarkan popularitas dan penggunaan situs web mereka; sesuai klaim mereka, uniRank tidak mengukur kualitas sekolah atau program mereka berdasarkan kualitas pendidikan atau kualitas layanan.

eduroute

Eduroute fokus meneliti dan mengevaluasi situs web universitas dan bukan kinerja sebuah universitas. Indikator yang digunakan dalam ranking universitas adalah quality of links and content, volume, online scientific information, dan links quantity.

 

Mesin peringkat universitas melewati tiga tahap utama dan penting yaitu:

1. Evaluasi otomatis yang terjadi tiga kali sebulan sebelum ranking resmi diumumkan.

2. Perhitungan rata-rata antara hasil yang diperoleh untuk evaluasi otomatis untuk memastikan integritas dan keakuratan data.

3. Pengujian manual acak yang dilakukan dengan mengambil sampel acak sebanyak 25% dari 1000 universitas teratas dan kemudian sampel 5% dari universitas lainnya.

Eduroute merilis ranking perguruan tinggi pada tahun 2011, namun sayangnya tidak melanjutkan perankingan hingga saat ini.

Quacquarelli Symonds (QS)

QS telah memproduksi peringkat sejak peluncuran QS World University Rankings® pada tahun 2004. Indikator penilaian QS rank adalah : 

1. Reputasi akademis (bobot 30%): Survei dilakukan ke kalangan akademisi kampus di setiap jurusan/pogram studi untuk mengukur kekuatan jurusan/program studi tersebut
2. Reputasi karyawan (bobot 20%): Mensurvei karyawan administrasi perguruan tinggi untuk mengukur kualitas layanan administasi perguruan tinggi.
3. Rasio fakultas/mahasiswa (bobot 20%): Dihitung dari rasio jumlah dosen dengan jumlah mahasiswa yang lulus dari setiap program studi di perguruan tinggi
4. Penghargaan hasil riset (bobot 15%): Indikatornya adalah jumlah riset ilmiah perguruan tinggi yang mendapatkan penghargaan sebagai tolok ukur reputasi karya ilmiah tersebut, yang dianalisis dengan program Scopus.
5. Jumlah riset ilmiah per fakultas (bobot 15%): Dengan menggunakan aplikasi Scopus, jumlah riset ilmiah per fakultas dikalkulasi menjadi skor dengan bobot penilaian 15%.
6. Proporsi fakultas internasional (2,5%) dan mahasiswa internasional (2,5%): Indikator ini menganalisis jumlah program studi internasional yang ada di perguruan tinggi tersebut. Sementara itu, pengukuran jumlah mahasiswa program studi internasional itu dilihat dari rasio jumlah mahasiswa internasional dibandingkan dengan pegawai administrasi PT sebagai penentu kualitas layanan administrasi program studi internasional tersebut.
7. Proporsi pertukaran mahasiswa ke luar negeri (2,5%) dan proporsi penerimaan pertukaran mahasiswa dari luar negeri: Indikator ini dilihat dari jumlah mahasiswa yang dikirim ke luar negeri dalam rangka program pertukaran mahasiswa serta penerimaan mahasiswa dari luar negeri dalam rangka program tersebut.

Dikarenakan peringkatnya didasarkan pada penilaian peer review dan employer review, maka hal ini tidak terlalu menguntungkan bagi universitas yang belum benar2 memenuhi standar, terutama pada negara2 tertentu. Jumlah riset dengan pengindeks scopus tentu memiliki konsekuensi biaya yang tidak sedikit. Sedangkan proporsi pertukaran mahasiswa ke luar negeri merupakan indikator yang lumayan sulit untuk negara2 berkembang.

DIKTI

Ranking DIKTI  dibuat oleh pemerintah Indonesia. Direktorat Jenderal Pendidikan Tinggi (Dikti) melakukan pemeringkatan terhadap 3.320 (tiga ribu tiga ratus dua puluh) perguruan tinggi di Indonesia berdasarkan kriteria sebagai berikut:

1. Dosen (12%): menghitung jumlah dosen berpendidikan doktor, dan memiliki jabatan fungsional lektor kepala / guru besar, serta kecukupan jumlah dosen tetap
2. Kualitas dosen (18%): menghitung jumlah dosen tetap terhadap jumlah mahasiswa pada perguruan tinggi bersangkutan
3. Akreditasi (30%): menilai akreditasi institusi maupun jumlah program studi terakreditasi A maupun B.
4. Kualitas kegiatan kemahasiswaan (10%): menilai prestasi mahasiswa
5. Kualitas kegiatan penelitian (30%): menghitung capaian kinerja penelitian sesuai kreteria yang ditentukan serta jumlah dokumen yang terindeks scopus.

Masih banyak lagi kriteria penilaian perguruan tinggi yang lain, beberapa indikatornya ada yang mirip, ada pula yang beda sama sekali. Demikianlah ulasan mengenai ranking2 perguruan tinggi, postingan selanjutnya, saya akan membahas tentang IREG dan Berlin Principles. International Ranking Expert Group (IREG) merupakan organisasi yang didirikan pada tahun 2004 oleh Pusat Pendidikan Tinggi Eropa UNESCO (UNESCO-CEPES) di Bucharest dan Institut Kebijakan Pendidikan Tinggi di Washington, DC. Atas inisiatif inilah IREG’s pada pertemuan kedua (Berlin, 18 sampai 20 Mei, 2006) telah diadakan perundingan untuk mempertimbangkan seperangkat prinsip kualitas dan praktik yang baik dalam peringkat Higher Education Institution (disebut dengan Berlin Principles).

Purwokerto, 30 Juni – 1 Juli 2017

*dalam renungan malam yang dingin dan secangkir kopi panas

 

 

Link terkait :

http://www.webometrics.info/en/About_Us

https://www.topuniversities.com/university-rankings

http://www.4icu.org/about/

http://www.eduroute.info/University-Ranking-System.aspx

http://halokampus.com/kuliah/peringkat-ranking- universitas-indonesia/

https://en.wikipedia.org/wiki/College_and_university_rankings

Abstrak

Kualitas perangkat lunak merupakan kunci sukses dalam bisnis teknologi informasi. Oleh karena itu, sebelum dipasarkan, perlu dilakukan pengukuran kualitas perangkat lunak untuk memenuhi kebutuhan pengguna. Beberapa metode pengukuran kualitas perangkat lunak telah diteliti dalam perspektif yang berbeda, kami menyajikan metode perangkat lunak tersebut dalam perspektif pengguna dan pakar. Penelitian ini bertujuan memetakan metode pengukuran kualitas perangkat lunak dalam berbagai model kualitas. Menggunakan metode Systematic Mapping Study, kami melakukan pencarian dan penyaringan makalah menggunakan inclusion dan exclusion kriteria, dan didapatkan 42 paper yang relevan. Hasil pemetaan menunjukkan meskipun model ISO SQuaRE telah banyak digunakan dalam 5 tahun terakhir, dan mengalami dinamika naik dan turun, namun penelitian di Indonesia masih memakai ISO 9126 sampai akhir tahun 2016. Metode pengukuran kualitas perangkat lunak yang paling banyak digunakan adalah metode empiris, dan beberapa peneliti telah melakukan pendekatan AHP dan fuzzy dalam perhitungan kualitas perangkat lunak.

Background

Kualitas produk perangkat lunak merupakan faktor penting dalam bisnis[1]. Kualitas produk perangkat lunak ditentukan oleh seberapa banyak produk memenuhi kebutuhan pengguna, seberapa banyak produk melakukan kinerjanya, dan seberapa banyak jumlah cacat dalam perangkat lunak tersebut[2]. Oleh karena itu, perlu dilakukan pengecekan kualitas sebelum produk perangkat lunak dipasarkan, sebab perbaikan setelah pengiriman dinilai sangat mahal dan mempengaruhi kredibilitas perusahaan[3]. Kualitas produk perangkat lunak telah diteliti oleh beberapa peneliti dalam perspektif yang berbeda, seperti Model Boehm[4], Model Dromey[5], Model McCall[6], ISO/IEC 9126[7] dan ISO/IEC SQuaRE[8]. Berdasarkan model yang telah ditentukan, kualitas produk perangkat lunak diukur dalam hal kemampuan untuk memenuhi tujuan pengembang dan kebutuhan para pengguna[9]. Berdasarkan hal tersebut, faktor manusia sebagai pengguna perlu dilibatkan  dalam metode pengukuran perangkat lunak. Mengadopsi dari istilah Usability Evaluation Method, maka pengukuran perangkat lunak dibagi menjadi dua, yaitu analytical method (pengukuran oleh para pakar) dan empirical method (pengukuran oleh pengguna)[10]–[12]. Pakar tersebut meliputi akademisi dan praktisi di bidang software engineering, content expert dan technical expert. Sedangkan pengguna yang dimaksud adalah end user, termasuk manager, karyawan, dosen, mahasiswa atau pelangan yang menggunakan perangkat lunak. Penelitian ini bertujuan untuk melihat tren model dan metode pengukuran perangkat lunak dalam kurun waktu 10 tahun terakhir. Trend model dan metode tersebut digunakan sebagai acuan perbaikan dalam penelitian berikutnya. Penelitian ini menggunakan metode Systematic Mapping Study berdasarkan pertanyaan penelitian. Metode ini menyediakan gambaran mengenai research area, mengidentifikasi jumlah penelitian, tipe penelitian dan hasil yang tersedia[13]. Makalah ini diorganisasikan sebagai berikut. Bab 2 membahas tentang model dan metode pengukuran kualitas perangkat lunak. Bab 3 menyajikan metode dari Systematic Mapping Study. Bab 4 menjelaskan tentang hasil dari Systematic Mapping Study dan bab 5 menyajikan kesimpulan dan menyarankan beberapa area untuk penyelidikan lebih lanjut.

Jika anda menginginkan artikel tersebut lebih lengkap, anda dapat mendownloadnya di sini. Artikel ini merupakan artikel pertama saya yang diindeks oleh scopus, melalui International Journal of Electrical and Computer Engineering (IJECE). Mudah mudahan bermanfaat.

REFERENCES

[1]        K. El-rayyes and I. M. Abu-zaid, “New Model to Achieve Software Quality Assurance ( SQA ) in Web Application,” vol. 2, no. 7, pp. 423–426, 2012.

[2]         Y. Sowunmi, “An Empirical Evaluation of Software Quality Assurance Practices and Challenges in a Developing Country,” pp. 867–871, 2015.

[3]         K. A. Shah, “How To Improve Software Quality Assurance in Developing Countries,” vol. 3, no. 2, pp. 17–28, 2012.

[4]         B. W. Boehm, “Software Engineering,” vol. C, no. 12, pp. 1226–1241, 1976.

[5]         R. G. Dromey, “A Model for Software Product Quality,” vol. 21, no. 2, 1995.

[6]         V. Lakshmi Narasimhan and B. Hendradjaya, “Some theoretical considerations for a suite of metrics for the integration of software components,” Inf. Sci. (Ny)., vol. 177, no. 3, pp. 844–864, Feb. 2006.

[7]         International Organization for Standardization, “Information technology — Software product quality,” ISO/IEC Fdis 9126-1, vol. 2000. pp. 1–26, 2000.

[8]         International Organization for Standardization, “Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models,” ISO, vol. 2011. p. 34, 2011.

[9]         J. S. Challa, A. Paul, Y. Dada, and V. Nerella, “Integrated Software Quality Evaluation : A Fuzzy Multi-Criteria Approach,” vol. 7, no. 3, pp. 473–518, 2011.

[10]       Z. Bai and A. F. Blackwell, “Analytic review of usability evaluation in ISMAR,” Interact. Comput., vol. 24, no. 6, pp. 450–460, 2012.

[11]       S. S. Aparna and K. K. Baseer, “A Systematic Review on Measuring and Evaluating Web Usability in Model Driven Web Development,” Ncetse, pp. 171–180, 2014.

[12]       M. C. S. Torrente, A. B. M. Prieto, D. A. Gutiérrez, and M. E. A. De Sagastegui, “Sirius: A heuristic-based framework for measuring web usability adapted to the type of website,” J. Syst. Softw., vol. 86, no. 3, pp. 649–663, 2013.

[13]       K. Petersen, R. Feldt, S. Mujtaba, and M. Mattsson, “Systematic Mapping Studies in Software Engineering,” 12Th Int. Conf. Eval. Assess. Softw. Eng., vol. 17, p. 10, 2008.

Pada bagian ini, kita akan membahas perancangan penelitian usability melalui pengolahan dan penyajian data. Nah, untuk melakukan bagian ini, kita perlu mengetahui teknik-teknik nya menggunakan ilmu statistik. Laptop Anda belum terinstal program statistik seperti SPSS atau minitab? Tak apa, karena kita akan menyajikan pengolahan data statistik menggunakan Ms. Excel saja.  *pasti anda sudah punya kan?

Jenis data

1. Nominal (nama, jenis kelamin, alamat, dst)
2. Ordinal (suka-tidak suka-sangat suka, tinggi-sedang-rendah, dst)
3. Interval (suhu, sejuk(10⁰-25⁰ C)-panas(25⁰-30⁰ C)-sangat panas (>30⁰ C), jelek-sedang-bagus-sangat bagus *dalam skala tertentu, misalkan jelek nilainya 1-2, sedang 3-4, bagus 5-6, sangat bagus 7, dst)
4. Ratio (waktu, umur, berat, tinggi, dst)

Data dan metrik

Memilih statistik yang tepat untuk tipe data dan usability metrics yang berbeda sangat menentukan kesimpulan yang akan diambil. Tabel berikut menjelaskan pengukuran yang umum digunakan dalam pengukuran usability dan prosedur statistik yang digunakan untuk menyajikan data.

Mengolah data statistik menggunakan Ms. Excel

Untuk mengaktifkan fungsi statistik pada Ms. Excel, maka kita dapat memunculkannya dengan klik office button>excel option (step 1). Langkah selanjutnya, pilihlah analysis toolpack pada pilihan add ins (step 2). Setelah klik OK, maka pada tab data akan muncul data analysis yang dapat kita gunakan untuk mengolah dan menyajikan data yang diperoleh dari partisipan (step 3).

step 1

Step 2

Step 3

 

Descriptive Statistics

Untuk menyajikan data sederhana, seperti mengetahui rata-rata, standar deviasi, nilai minimum dan maksimum, kita dapat menggunakan descriptive statistics. Perhatikan langkah-langkah di bawah ini :

Misalkan : terdapat 12 partisipan yang diminta untuk mengerjakan sebuah task. Kemudian researcher menuliskan jumlah waktu yang diperlukan untuk mengerjakan task tersebut (sebut saja satuannya menit). Maka, kita hanya perlu menuliskannya dalam 2 kolom seperti gambar diatas.

Klik data>data analysis>descriptive statistics> confidence interval 95%>summary statistics. Input range diarahkan pada sel B2:B13. (perhatikan gambar berikut)

Hasilnya akan diperoleh seperti berikut ini :

Dari tabel task time diatas, kita dapat simpulkan bahwa rata-rata task time untuk 12 responden adalah 35,08 menit, dengan standar deviasi 11,24. Nilai terendah dalam mengerjakan sebuah tugas adalah 21 menit (paling cepat) dan nilai tertinggi adalah 53 menit (paling lambat).

Berapa angka dibelakang koma?

Dalam merepresentasikan data, kita dituntut untuk menggambarkan sesuatu nilai dengan baik. Pada tabel deskriptif statistik diatas, dapat dilihat mean (rata-rata) kecepatan mengerjakan task adalah 35,083333333. Apakah Anda akan melaporkan hasilnya seperti ini? tentu tidak bukan? Meskipun tidak ada jawaban yang diakui secara universal, namun beberapa faktor yang perlu dipertimbangkan adalah keakuratan data asli, besarnya, dan variabilitasnya. Angka penting yang harus Anda gunakan saat melaporkan statistik, seperti mean, tidak lebih dari satu digit signifikan tambahan dibandingkan dengan data asli. Jadi dalam contoh ini, Anda bisa melaporkan bahwa rata-rata adalah 35,1 detik.

Analisis statistik

Anda perlu sedikit mempelajari ilmu statistik dan probabilitas untuk melaporkan hasil penelitian usability. Anda perlu tahu tentang ukuran tendensi sentral (mean, median, modus), ukuran dispersi (standar deviasi, variansi, jangkauan), bahkan saat anda membandingkan rata-rata usability dari kelompok berbeda (independent t test, pair sample t test, analysis of variance, dst). Untuk pembahasan ini, Anda dapat melihat pada slide presentasi kuliah statistik yang telah saya share di https://www.slideshare.net/kuliahtenia.

Purwokerto, 16 Juni 2017

Alih alih menghemat, penelitian usability justru akan membuang banyak waktu, uang dan tenaga jika tidak direncanakan dengan baik. Untuk merancang usability study yang baik, kita perlu menjawab beberapa pertanyaan seperti berikut ini :

1. Tipe partisipan apa yang kita butuhkan?
2. Berapa jumlah partisipan yang kita perlukan?
3. Apakah kita akan membandingkan data dari kelompok tunggal partisipan dengan beberapa kelompok partisipan yang berbeda?
4. Apakah kita memerlukan penyeimbang untuk beberapa tugas?

Memilih partisipan

Tiga pertanyaan penting saat memilih partisipan yaitu :

1. Seberapa baik partisipan menggambarkan target audiens kita?

• Pilihlah partisipan yang benar-benar dapat menggambarkan usability testing. Contoh : untuk aplikasi kesehatan, pilihlah partisipan dokter, perawat, ataupun bidan. Untuk aplikasi sekolah, pilihlah partisipan guru, murid, kepala sekolah, atau penggiat pendidikan.

2. Apakah kita akan membagi grup partisipan berdasarkan tipe partisipan yang berbeda? Pikirkanlah tentang grup apa dan berapa jumlah partisipan tiap-tiap grup. Berikut ini beberapa tipe kelompok atau segmen yang umum digunakan dalam penelitian usability.

• Self reported expertise in some domain (novice, intermediate, expert)
• Frequency of use (jumlah pengunjung web, jumlah interaksi per bulan)
• Amount of experience with something (hari, bulan, tahun)
• Demographics (jenis kelamin, umur, lokasi)
• Activities (menggunakan fungsi partikular atau fitur)

3. Tujuan besar penelitian usability agar dapat temuan dapat digeneralisasi untuk populasi yang jumlahnya lebih besar. Berikut teknik-teknik dalam mengambil sampel.

• Random sampling (setiap anggota populasi memiliki kemungkinan untuk menjadi partisipan penelitian).
• Systematic sampling (pemilihan sampel berdasarkan kriteria yang telah ditentukan, misalkan responden yang telah memiliki nilai TOEFL lebih dari 500).
• Stratified sampling (pemilihan partisipan untuk memastikan jumlah sample yang dibutuhkan pada setiap kelompok, misalkan 50% kelompok berjenis kelamin laki-laki, 50% kelompok berjenis perempuan).
• Sample of convinience (pendekatan ini umum digunakan pada penelitian usability, termasuk setiap orang yang ingin berpartisipasi dalam penelitian. Menempatkan partisipan dalam lab dan mengamati perilaku user).

Jumlah sampel

Berapa jumlah sampel ideal untuk melakukan penelitian usability? Jika anda tertarik untuk mengidentifikasi persoalan-persoalan usability yang besar sebagai bagian dalam proses desain iteratif, maka 3 atau 4 partisipan representatif cukup untuk dijadikan sampel. Tabel dibawah ini menunjukkan bahwa jika kita menggunakan 100 partisipan, dan 80 dari partisipan sukses melakukan tugas (task), maka dapat dikatakan bahwa 71 sampai 86 persen dari populasi yang besar akan mampu melakukan tugas tersebut (dengan 95% confidence interval).

Penelitian dalam kelompok atau antar kelompok

Keputusan penting lain untuk dipikirkan adalah apakah kita akan membandingkan data yang berbeda dari setiap partisipan(dari desain atau produk yang berbeda), atau data dari setiap partisipan (dari rata-rata kesuksesan mengerjakan task pada kelompok yang berbeda).

Penelitian dalam kelompok (within subjects) merupakan penelitian yang umum digunakan. Peneliti dapat melakukan pengukuran berulang, sebelum dan sesudah menggunakan sebuah produk, atau pengukuran dua buah produk berbeda pada partisipan yang sama.

Penelitian antar kelompok (between subjects) contohnya membandingkan kepuasan antara novice dan expert user, atau membandingkan waktu yang dibutuhkan dalam menyelesaikan tugas dari pengguna yang berpendidikan SMA dan pengguna berpendidikan SD.

Counterbalance (mengimbangi)

Terkadang urutan peserta melakukan tugasnya memiliki dampak signifikan terhadap hasilnya. Peserta biasanya belajar produk karena pengalaman mereka berkembang. Akibatnya, Anda harus mempertimbangkan urutan pengumpulan data, yang biasanya merupakan urutan tugas. Mungkin saja Anda melihat peningkatan kinerja atau kepuasan karena sesi kegunaan terus berlanjut. Dapatkah Anda menentukan apakah perbaikan terjadi karena tugas kelima lebih mudah daripada tugas pertama atau jika beberapa pembelajaran terjadi antara tugas pertama dan kelima yang membuat tugas kelima lebih mudah dilakukan? Satu-satunya cara untuk menjawab pertanyaan ini adalah mengendalikan efek pesanan melalui teknik yang disebut penyeimbang. Tabel berikut merupakan contoh bagaimana cara menyeimbangkan tugas berdasarkan 4 partisipan dan 4 tugas.

Variabel bebas dan variabel tergantung

Seperti halnya penjelasan pada bidang statistika, variabel independen (independent variable) adalah tipe variabel yang menjelaskan atau mempengaruhi variabel yang lain. Variabel dependen (dependent variable) adalah tipe variabel yang dijelaskan atau dipengaruhi oleh variabel independen. Misalkan, kepuasan pengguna (variabel dependen) tergantung dari kecepatan download, waktu loading web, dan kemudahan web saat digunakan (variabel independen).

Dari buku Tom Tullis, Measuring The User Experience

Yogyakarta, 15 Juni 2017

Kita telah mengenal berbagai macam ukuran, seperti waktu, jarak, berat, tinggi, kecepatan, temperatur, volume, dan lain-lain. Setiap industri, aktifitas dan segala kebiasaan kita memiliki ukuran tersendiri.  Dalam industri otomotif, diketahui istilah horse power atau kekuatan kuda untuk mobil. Dalam industri komputer, dikenal ukuran kecepatan prosesor, dan ukuran memory. Di dalam kehidupan sehari-hari, kita menggunakan ukuran berat badan, tinggi bangunan, bahkan ukuran ayam yang umum disajikan untuk acara tumpengan punya standar yang telah disepakati!

Begitu pula usability, memiliki metric atau ukuran tersendiri. Ukuran-ukuran tersebut adalah task success, user satisfaction, error, dan lain sebagainya. Data usability merupakan data kualitatif, namun demikian, tetap harus dapat diukur. Kita dapat mengubahnya menjadi data numerik atau sesuatu yang dapat dihitung. Seluruh ukuran usability harus dapat merepresentasikan beberapa aspek dari user exprerience yang disajikan dalam format angka. Sebagai contoh : 65% user menyatakan puas terhadap suatu produk, 90% user dapat menyelesaikan tugas kurang dari satu menit.

Perbedaan usability metric terhadap ukuran lainnya yaitu karakteristiknya dalam mengukur pengalaman pengguna. Hal ini merupakan pengalaman personal dari setiap manusia terhadap sesuatu. Usability metric menghasilkan interaksi antara pengguna dan sebuah benda, seperti aspek efektivitas (kemampuan menyelesaikan suatu tugas), efisiensi (jumlah usaha yang dikeluarkan untuk menyelesaikan tugas), dan kepuasan (derajat yang menyatakan user senang dengan pengalaman mereka dalam mengerjakan suatu tugas).

Perbedaan lainnya, usability metric mengukur sesuatu tentang manusia dan perilaku mereka. Dikarenakan setiap orang memiliki perbedaan dalam kemampuan beradaptasi, maka para desainer dan developer memiliki tantangan tersendiri dalam mengukur usability. Usability metric membantu anda dalam pengambilan keputusan. Usability metric menyediakan jawaban dari setiap pertanyaan yang penting bagi organisasi yang tidak dapat dijawab dari ukuran lain.

Usability metric dapat menjawab beberapa pertanyaan penting seperti :

Apakah pengguna menyukai produk anda?

Apakah produk baru ini lebih efisien daripada produk sebelumnya?

Bagaimana usability sebuah produk dibandingkan dengan produk lainnya?

Masalah usability apa yang paling signifikan dalam sebuah produk?

Apakah terdapat perbaikan pada satu iterasi dengan iterasi selanjutnya?

 

10 mitos tentang usability metrics

Mitos 1 : Pengumpulan metric membutuhkan waktu yang lama

Fakta : jika partisipan yang diperlukan dalam pengukuran kepuasan atau kemudahan penggunaan terlalu banyak, kita dapat mengirimkan email dengan beberapa pertanyaan. Kita juga dimungkinkan untuk mendapatkan feedback dari screenshoot oleh pengguna.

 

Mitos 2 : Usability metric membutuhkan biaya yang banyak

Fakta : seperti mitos 1, keterbatasan waktu dan biaya dapat dikurangi dengan mengirimkan kuesioner kepada user menggunakan email. Beberapa perangkat analisis juga tersedia secara gratis di internet.

 

Mitos 3 : Usability metric tidak berguna saat memfokuskan pada perbaikan kecil

Fakta : Menganalisis masalah kegunaan adalah sebuah solusi yang jelas dan sangat berharga. Misalnya melihat keparahan dan frekuensi masalah usability dan mengapa hal itu terjadi adalah cara terbaik untuk memfokuskan sumber daya selama proses perancangan. Pendekatan ini menghemat banyak uang dan waktu. Anda dapat dengan mudah menurunkan metric kegunaan berdasarkan pada penelitian terdahulu yang mungkin bisa membantu Anda menjawab pertanyaan kegunaan utama. Usability metric berguna untuk proyek berukuran besar maupun kecil.

 

Mitos 4: Usability metric tidak membantu kita memahami penyebabnya

Fakta : Anda dapat mengidentifikasi di mana pengguna sistem mengalami masalah dan menggunakan metric untuk mengetahui di mana dan bahkan mengapa beberapa masalah terjadi. Bergantung pada bagaimana data dikodekan dan metode kode  yang digunakan, ada banyak kegunaan data yang bisa membantu mengungkapkan akar penyebab banyak masalah kegunaan.

 

Mitos 5 : Data usability terlalu ribet

Fakta : Banyak kuesioner penggunaan standar telah banyak divalidasi oleh banyak peneliti. Intinya adalah bahwa dengan beberapa pemikiran hati-hati dan beberapa teknik sederhana, banyak noise dalam data kegunaan bisa sangat signifikan dikurangi untuk menunjukkan gambaran yang jelas tentang perilaku dan sikap pengguna.

 

Mitos 6 : Anda bisa mempercayai “usus” Anda

Fakta : Beberapa pilihan desain benar-benar merupakan kasus “gut level”, namun mungkin saja sebenarnya berdampak pada populasi yang besar. Terkadang solusi perancangan yang tepat berlawanan dengan intuisi. Misalnya, tim desain dapat memastikan bahwa semua informasi di halaman web ada di paro atas, sehingga menghilangkan kebutuhan untuk menggulir. Namun, data kegunaan (mungkin dalam bentuk waktu penyelesaian tugas) dapat mengungkapkan waktu penyelesaian tugas yang lebih lama karena tidak ada cukup ruang putih antara berbagai elemen visual. Intuisi tentu penting, tapi data lebih baik.

 

Mitos 7: Metric tidak berlaku untuk produk baru

Fakta : Saat mengevaluasi produk baru, penting untuk menetapkan seperangkat metric dasar yang dengannya iterasi perancangan di masa mendatang dapat dibandingkan. Ini satu-satunya cara untuk benar-benar tahu apakah desainnya membaik atau tidak. Selain itu, ini sangat membantu menetapkan target metric untuk produk baru. Sebelum produk dilepaskan, seharusnya memenuhiMetric dasar kegunaan seputar keberhasilan tugas, kepuasan, dan efisiensi.

Mitos 8: Tidak ada metric untuk jenis masalah yang sedang kita hadapi

Fakta : Dalam tahun-tahun penelitian kegunaan kami, kami belum menemukan sasaran bisnis atau pengguna yang tidak dapat diukur dengan cara tertentu. Anda mungkin harus kreatif dalam cara mengumpulkan data.

Mitos 9: Metric tidak dipahami atau dihargai oleh manajemen

Fakta : Sudah pengalaman kami bahwa metric kegunaan tidak hanya dipahami namun sangat dihargai oleh manajemen tingkat atas. Mereka dapat berhubungan dengan metric. Metric memberikan kredibilitas kepada tim, produk, dan proses perancangannya. Metric dapat digunakan untuk menghitung ROI (return on investment). Kebanyakan manajer menyukai metric, dan usability metric adalah satu jenis metric yang akan mereka ambil dengan cepat.

Mitos 10: Sulit mengumpulkan data yang dapat dipercaya dengan ukuran sampel yang kecil

Fakta : Banyak orang beranggapan bahwa Anda memerlukan setidaknya 30 peserta untuk mulai melihat data kegunaan. Meski memiliki ukuran sampel lebih besar tentu membantu meningkatkan confident interval, namun ukuran sampel yang lebih kecil dari delapan atau sepuluh peserta masih bisa bermakna.

Disarikan dari buku karya, Tom Tullis, “Measuring the user experience”

Yogyakarta, 6 Juni 2017