Easy is hard. (Peter Lewis)

Pengalaman pengguna (user experience ~ UX) memiliki 3 karakteristik utama, yaitu 1) adanya keterlibatan seorang pengguna, 2) adanya interaksi dengan produk, sistem, atau apa pun yang berhubungan dengan antarmuka, 3) pengalaman pengguna dapat diamati atau diukur. Ukuran UX mengungkapkan sesuatu tentang interaksi antara pengguna dan produk (dalam ISO / IEC 9126-4 disebut usability metric) terdiri dari beberapa aspek efektivitas (mampu menyelesaikan tugas),
efisiensi (jumlah upaya yang diperlukan untuk menyelesaikan tugas), atau kepuasan (sejauh mana pengguna senang dengan pengalamannya saat melakukan tugas).

 

Efektivitas

Completion Rate

Efektivitas dapat dihitung dengan mengukur tingkat penyelesaian tugas. Disebut sebagai ukuran usability dasar, tingkat penyelesaian dihitung dengan menetapkan nilai biner ‘1’ jika peserta tes berhasil menyelesaikan tugas dan ‘0’ jika dia tidak. Efektivitas dengan demikian dapat direpresentasikan sebagai persentase dengan menggunakan persamaan sederhana ini:

Efektifitas = jumlah task yang selesai/komplit dikerjakan dibagi dengan total task yang diambil dikali 100%.

 

Number of Error

Pengukuran lain melibatkan penghitungan jumlah kesalahan yang dilakukan peserta saat mencoba menyelesaikan tugas. Kesalahan dapat berupa tindakan yang tidak disengaja, kesalahan, kesalahan atau kelalaian yang dilakukan pengguna saat mencoba tugas. Anda sebaiknya memberikan deskripsi singkat, peringkat keparahan dan mengklasifikasikan setiap kesalahan di bawah kategori masing-masing.

Berdasarkan analisis 719 tugas yang dilakukan menggunakan perangkat lunak konsumen dan bisnis, Jeff Sauro menyimpulkan bahwa jumlah rata-rata kesalahan per tugas adalah 0,7, dengan 2 dari setiap 3 pengguna membuat kesalahan. Hanya 10% dari tugas yang diamati dilakukan tanpa kesalahan, sehingga mengarah pada kesimpulan bahwa sangat normal bagi pengguna untuk membuat kesalahan saat melakukan tugas.

 

Efisiensi

Time base efficiency

Efisiensi berdasarkan waktu pengerjaan tugas memiliki satuan goals/sec.

dimana,

N = The total number of tasks (goals)
R = The number of users
nij = The result of task i by user j; if the user successfully completes the task, then Nij = 1, if not, then Nij = 0
tij = The time spent by user j to complete task i. If the task is not successfully completed, then time is measured till the moment the user quits the task

Overal task efficiency

Efisiensi relatif keseluruhan menggunakan rasio waktu yang diambil oleh pengguna yang berhasil menyelesaikan tugas dalam kaitannya dengan total waktu yang diambil oleh semua pengguna. Dengan demikian persamaan dapat direpresentasikan sebagai berikut:

 

Misalkan ada 4 pengguna yang menggunakan produk yang sama untuk mencoba melakukan tugas yang sama (1 tugas). 3 pengguna berhasil menyelesaikannya – masing-masing mengambil 1, 2 dan 3 detik. Pengguna keempat membutuhkan waktu 6 detik dan kemudian menyerah tanpa menyelesaikan tugas.
Mengambil persamaan di atas:
N = Jumlah total tugas = 1

R = Jumlah pengguna = 4
Pengguna 1: Nij = 1 dan Tij = 1

Pengguna 2: Nij = 1 dan Tij = 2

Pengguna 3: Nij = 1 dan Tij = 3

Pengguna 4: Nij = 0 dan Tij = 6

Maka nilai-nilai di atas dapat dihitung dengan hasil sbb :

Kepuasan

Task level satisfaction

Setelah pengguna mencoba suatu tugas (terlepas dari apakah mereka berhasil mencapai tujuannya atau tidak), mereka harus segera diberikan kuesioner untuk mengukur seberapa sulit tugas itu. Biasanya terdiri dari hingga 5 pertanyaan, kuesioner pasca tugas ini sering mengambil bentuk peringkat skala Likert dan tujuannya adalah untuk memberikan wawasan tentang kesulitan tugas seperti yang terlihat dari perspektif peserta. Kuesioner yang biasa digunakan adalah SEQ (Single Ease Question) yang hanya terdiri dari 1 pertanyaan : “secara umum, bagaimanakah penilaian pengguna terhadap sistem?”. Jawaban dari pertanyaan tersebut berupa skala likert 1-5 (semakin besar angkanya, semakin puas).

Test level satisfaction

Kepuasan Level Tes diukur dengan memberikan kuesioner yang diformalkan kepada setiap peserta tes pada akhir sesi tes. Ini berfungsi untuk mengukur kesan mereka terhadap keseluruhan kemudahan penggunaan sistem yang sedang diuji. Untuk tujuan ini, kuesioner berikut dapat digunakan (peringkat dalam urutan menaik dengan jumlah pertanyaan):

  1. SUS: Skala Kegunaan Sistem (10 pertanyaan) (biasa disebut quick and dirty test)
  2. SUPR-Q: Kuisioner Tingkat Pengalaman Pengalaman Standar untuk Pengguna (13 pertanyaan)
  3. CSUQ: Kuesioner Kegunaan Sistem Komputer (19 pertanyaan)
  4. QUIS: Kuisioner Untuk Kepuasan Interaksi Pengguna (24 pertanyaan)
  5. SUMI: Inventarisasi Pengukuran Kegunaan Perangkat Lunak (50 pertanyaan)

Demikian cara-cara mengukur user experience, semoga bermanfaat.

 

Purwokerto, 15 Juni 2020

Tenia Wahyuningrum

Pendidikan adalah senjata ampuh mengubah dunia ~ Nelson Mandela

 

Memilih perguruan tinggi berkelas dunia

Masa pandemi segera berakhir, siswa-siswi akan mulai bersekolah kembali. Bagi yang tahun ini merayakan kelulusan SMA (meskipun mungkin wisuda secara online), tentu saat ini sebagian diantaranya sedang atau bahkan sudah mulai mendaftar ke perguruan tinggi idaman. Apa sih kriteria perguruan tinggi yang baik? Bagaimana cara melihat kualitas perguruan tinggi? Mengapa sebuah perguruan tinggi disebut sebagai universitas terbaik?

Mengadopsi terminologi World Class University (WCU), penjaminan perguruan tinggi meliputi keunggulan akademik dan pengajaran, kualitas penelitian, pengembangan dan diseminasi pengetahuan, dan kegiatan yang berkontribusi pada budaya, ilmu pengetahuan, dan masyarakat (Levin, 2006). Berbagai kriteria tersebut kemudian mendorong universitas untuk melakukan upaya-upaya untuk menjadi yang terbaik di tingkat dunia (Mohsen Nazarzadeh Zare, Javad Pourkarimi, Gholamreza Zaker Salehi, 2016). Namun demikian, ada beberapa kendala dalam mencapai WCU yang dianggap kurang objektif, karena banyak kriteria penilaian yang berbeda (Altbach and Salmi, 2011). Kriteria-kriteria yang dikeluarkan oleh berbagai macam versi pemeringkatan universitas seperti Quacquarelli Symonds(QS), Unirank, ataupun webometric, berbeda-beda. Akan tetapi, pemeringkatan perguruan tinggi merupakan salah satu bentuk pengakuan dunia terhadap jaminan mutu akademik, sehingga sering dijadikan acuan dalam memilih universitas.

Pemeringkatan QS didasarkan pada penilaian peer review dan employer review, maka hal ini tidak terlalu menguntungkan bagi universitas yang belum benar-benar memenuhi standar, terutama pada negara-negara tertentu. Jumlah riset dengan pengindeks scopus tentu memiliki konsekuensi biaya yang tidak sedikit. Sedangkan proporsi pertukaran mahasiswa ke luar negeri merupakan indikator yang lumayan sulit untuk negara-negara berkembang. Sedangkan uniRank menempatkan perguruan tinggi dan universitas berdasarkan popularitas dan penggunaan situs web mereka; sesuai klaim mereka, uniRank tidak mengukur kualitas sekolah atau program mereka berdasarkan kualitas pendidikan atau kualitas layanan.

Webometrics memiliki kriteria penilaian salah satunya didapatkan dari kualitas websitenya. Setiap tahun, satu juta orang mengunjungi website universitas untuk mencari informasi. Kegiatan yang dilakukan antara lain mencari informasi perkuliahan, mengganti jadwal kuliah, penelitian dosen, skripsi mahasiswa atau kontak informasi dosen. Terutama di masa pandemi COVID-19, terdapat perubahan aktifitas offline menjadi online. Aktifitas di dunia maya menjadi lebih ramai, dan lebih komprehensif. Webometric merupakan sebuah terobosan dari Cybermetrics Lab, sebuah kelompok riset dari Centro de Ciencias Humanas Sociales (CCHS), yang merupakan bagian dari Dewan Riset Nasional Spanyol (Kargar, 2011).

 

UNTAN Membangun Ekosistem Digital Menuju Cyber University

Rilis webometrics pada Januari 2020 menunjukkan peringkat webometrics untuk Universitas Tanjungpura (UNTAN) yaitu 6906 dunia, dan 143 ranking di Indonesia. Hal ini menunjukkan bahwa UNTAN telah menduduki posisi yang sangat baik, diantara 2304 perguruan tinggi lain di negeri ini. Namun sayangnya, posisi UNTAN pada tahun ini ternyata menurun dari beberapa tahun sebelumnya. Tahun 2016, UNTAN menduduki peringkat 38 se Indonesia, lalu tahun 2017 turun menjadi 51, dan 2018 sempat naik menjadi 40, lalu 2019 turun lagi menjadi ranking 97 (http://www.webometrics.info/en).

Penurunan selama dua tahun berturut-turut seharusnya menjadi “warning sign” untuk tetap melakukan berbagai strategi dalam memperoleh pengakuan dunia terhadap kualitas perguruan tinggi, antara lain dengan membangun ekosistem digital menuju cyber university. Ekosistem digital menjadi model yang berfokus pada stakeholder, diantaranya mahasiswa, dosen, dan industri pengguna lulusan menuju ke arah layanan yang lebih baik. Pendidikan akan menjadi aset terbaik bangsa, karena tidak dipengaruhi oleh situasi apapun, bahkan menjadi bidang yang tetap bertahan pada situasi pandemi COVID-19 sekalipun. Oleh karena itu cyber university menjadi pilihan terbaik UNTAN dalam strateginya menuju universitas berkelas dunia.

Rekomendasi dan Strategi

Sebelum menuju ke pembahasan rekomendasi dan strategi, mari kita lihat dulu indikator, arti, metodologi, sumber data, dan bobot masing-masing kriteria penilaian pemeringkatan webometrics berikut ini.

INDIKATOR ARTI METODOLOGI SUMBER BOBOT
PRESENCE Pengetahuan yang dibagikan ke publik  Ukuran (jumlah halaman) dari domain web utama institusi. Ini mencakup semua subdomain yang berbagi domain web (pusat / utama).  Google 5%
VISIBILITY Dampak konten web  Jumlah jaringan eksternal (subnet) yang terhubung ke halaman web institusi (dinormalisasi dan kemudian nilai rata-rata).  Ahrefs
 Majestic
50%
TRANSPARENCY
(or OPENNESS)
Peneliti teratas yang dikutip Jumlah sitasi dari 110 penulis teratas (excl. top 10 outliers).
Lihat Transparent Ranking untuk info lebih lanjut.
 Google Scholar
 Profiles
10%
EXCELLENCE
(or SCHOLAR)
Paper teratas yang dikutip Jumlah makalah di antara 10% teratas yang paling banyak dikutip di masing-masing dari 26 disiplin ilmu dari basis data lengkap.
Data untuk periode 5 tahun : 2013-2017
  Scimago 35%

 

Sejalan dengan pemeringkatan universitas dunia, rekomendasi untuk UNTAN sebagai universitas terbaik di Kalimantan adalah melakukan upaya-upaya memenuhi kriteria webometrics sebagai berikut.

Presence

Strategi: Menambahkan sejumlah domain yang berafiliasi pada domain utama (blog, sistem informasi akademik, sistem penerimaan mahasiswa baru). Berdasarkan penelusuran pada situs nmmapper, ditemukan total 138 subdomain unik yang berasal dari domain utama pada http://www.untan.ac.id/. Sub domain tersebut antara lain blog dosen dan mahasiswa (blog.untan.ac.id), website badan eksekutif mahasiswa (bem.untan.ac.id), Unit Pelaksana Teknis (upt-labterpadu.untan.ac.id), dan situs untuk sarana penerimaan mahasiswa baru Ujian Tulis Berbasis Komputer (utbk.untan.ac.id). Jumlah subdomain mencerminkan banyaknya pengetahuan yang dibagikan kepada publik. Jika dibandingkan dengan Unversitas Gadjah Mada (jumlah total subdomain 580 buah), maka UNTAN perlu menambahkan beberapa subdomain lagi, khususnya untuk membagikan aktivitas kampus, seperti setiap dosen dan mahasiswa diwajibkan membuat blog dan menuliskan materi kuliah, tugas ataupun kegiatan pengabdian mereka di blog tersebut.

Visibility

Strategi: Memperbanyak link web dengan meningkatkan link internal melalui link blogroll, atau membuat lomba blog seperti saat ini merupakan cara terbaik untuk menambah visibility. Berdasarkan pengamatan pada situs ahrefs tanggal 12 Juni 2020, dapat dilihat bahwa jumlah backlink pada situs http://www.untan.ac.id/ sebanyak 359.000, dengan rincian domain yang bereferensi yaitu diantaranya dari pemerintahan (.gov) dan pendidikan (.edu).

Referring domains  100%
Dofollow  1,099 85%
Governmental  0 0%
Educational  44 3%
.gov 0 0%
.edu 1 1%
.com 959 74%
.net 36 3%
.org 46 4%

Penambahan jumlah backlink sebaiknya yang berorientasi pada situs pendidikan atau pemerintahan untuk meningkatkan “prestise” universitas.

Openness

Strategi: Membangun digital library, repository, membuka publikasi dosen dan mahasiswa (open access). Dilansir dari Google Scholar pada tanggal 12 Juni 2020, data dokumen sivitas akademika UNTAn sebanyak 17,618 dan jumlah sitasi sebesar 30,814. Untuk meningkatkan jumlahnya dokumen maupun sitasinya, lembaga penelitian dan pengabdian masyarakat dan universitas perlu memberikan stimulus publikasi, bisa berupa reward untuk dosen yang dapat meraih sitasi terbanyak.

Scholar

Strategi: Menambah jumlah publikasi pada jurnal bereputasi, membuat jurnal, mendorong sivitas akademika untuk senantiasa meningkatkan kualitas dan kuantitas publikasi. Dilihat dari jumlah dokumen yang terindeks scopus pada tahun 2020, baru sekitar 11 dokumen (sangat sedikit bila dibandingkan dengan jumlah program studi dan dosen). Tahun 2018, jumlah dokumen sebanyak 78, sedangkan tahun 2019 ada penurunan sebanyak 7 poin, menjadi 71 buah. Untuk meningkatkan jumlah kutipan pada paper, perlu adanya kelompok keahlian antar perguruan tinggi atau di dalam program studi menggerakkan satu penelitian yang bertema sama, agar dapat saling bersinergi sehingga meningkatkan jumlah sitasi.

Nah, beberapa rekomendasi dari hasil analisis kecil-kecilan saya, yang sudah diungkapkan diatas semoga dapat menjadikan UNTAN lebih maju dan mewujudkan cita-cita sebagai cyber university, sehingga dapat bersaing dengan perguruan tinggi dunia, diakui sebagai world class university. Sukses terus UNTAN!

 

Purwokerto, Juni 2020

Tenia Wahyuningrum

 

 

Referensi

Altbach, P. G. and Salmi, J. (2011) The Road to Academic Excellence-The Making of World-Class Research universities. doi: 10.1596/978-0-8213-8805-1.

Kargar, M. J. (2011) ‘University Website Ranking from Usability Criteria Perspective; A Case Study in IRAN’, International Journal of Advancements in Computing Technology, 3(11), pp. 246–251. doi: 10.4156/ijact.vol3.issue11.31.

Levin, H. M. (2006) ‘What is A World Class University’, in Conference of the Comparative and International Education Society. Honolulu, Hawaii, pp. 1–49.

Mohsen Nazarzadeh Zare, Javad Pourkarimi, Gholamreza Zaker Salehi, S. R. (2016) ‘In Search of a World-Class University in Iran’, Journal of Applied Research in Higher Education, 8(4), pp. 522–539. doi: https://doi.org/10.1108/JARHE-03-2016-0021.

 

Universitas Tanjungpura