Alhamdulillah, akhirnya saya berkesempatan untuk mengikuti international conference on applied science and technology di Manado, Sulawesi Utara. Acara ini diselenggarakan oleh polimdo dan IEEE. Pada sesi paralel, saya mempresentasikan makalah saya bersama kolega saya dari Polimedia, Hafid Setyo Hadi, dengan judul : Evaluation of Website Accessibility using LFPP in Improving Village Good Governance.

Pada makalah tersebut, kami membangun 5 kriteria dalam pengukuran accessibility website pemerintah desa, dengan website desa yang dijadikan studi kasus adalah desa melung di kabupaten Banyumas. Hasilnya, beberapa kekurangan dalam pengelolaan website desa ditemukan, antara lain pada kriteria page size dan jumlah komponen.

Tak lupa, setelah letih mengikuti berbagai acara selama 2 hari, kami berjalan-jalan di beberapa lokasi wisata seperti danau Linow di Tomohon, dan pantai Malalayang di Manado.

Berikut abstrak dari makalah kami :

Abstract— In managing village funds, village officials must realize village financial transparency and accountability, starting from the planning stage to reporting and village financial accountability. At least, there are stakeholders every year visiting the village’s website to find information. Thus, the accessibility of village websites is important in the success of village government business. The website should be designed to ensure that every user, including those with disabilities, can use it properly. One way to evaluate the accessibility was using Fuzzy Analytical Hierarchy (FAHP) method. However, the FAHP using extent analysis approach has several weaknesses. The deficiency of the extent analysis lies in the invalid and the weight derived by this method does not represent the relative importance of alternative or criteria. Another technique in FAHP to derive the crisp weight is to use a non-linear programming approach, which is Logarithmic Fuzzy Preference Programming (LFPP). LFPP method can overcome the shortcomings of extent analysis methods by generating a single solution and representing inter-interests. In this study, a model of website accessibility evaluation is proposed. The weight derivation method used is LFPP, and the original data retrieved by direct observation and measurement using the help of website diagnostic tools. The accessibility evaluation model of the website using LFPP method has been built and successfully applied to the melung.desa.id website. The results show that the website works well on the interface, but there are still deficiencies in page size and number of components per page.

pose dulu setelah presentasi

Pantai Malalayang, Manado

Danau Linow, Tomohon

Mendengar berita dari beberapa media bahwa suku Asmat mengalami kesulitan air bersih, kami, warga BUDI DN (Beasiswa Unggulan Dosen Indonesia Dalam Negeri), yang merupakan mahasiswa S2-S3 di UGM tak bisa tinggal diam. Kami melakukan beberapa kegiatan, demi mewujudkan keinginan kami membantu masyrakat Papua. Beasiswa BUDI DN merupakan bagian dari beasiswa yang dibiayai Lembaga Pengelola Dana Pendidikan dari Kementrian Keuangan, dengan bekerjasama dengan Kementrian RISTEK DIKTI. Kontribusi kami sebagai ilmuwan tentu sangat diharapkan untuk kelangsungan hidup masyarakat Papua.

 

Berbekal pengalaman beberapa awardee yang berasal dari Papua, kami mulai mewujudkan mimpi-mimpi itu. Mimpi mendapatkan air bersih. Berikut ini beberapa kegiatan yang dilakukan adalah :

KONTRIBUSI UNTUK NEGERI      
–          FGD tahap 1 7 februari 2018 Ruang Filsafat Nusantara Isu mengenai kasus gizi buruk Asmat dan permintaan air bersih untuk asmat membuat para awardee tergerak untuk berkontribusi pada negeri melalui lintas keilmuan untuk mengatasi hal tersebut.

Hasil FGD 7 Februari 2018

FGD grup eksakta

 

  1. Sumber daya manusia = contact keuskupan AGAT, tempat ibadah (masjid, gereja) di BLH Asmat (Pak Jack Morin), mahasiswa Papua UGM, mahasiswa S3 UGM (Petrus (F Kehutanan), Inneke, Utu (FEB))
  2. Sumber daya alam = *materi di share dari pak agus dan pak jack
  3. Target lokasi = di kota AGAT dan fasum (rumah sakit dan sekolah)
  4. Ruang lingkup = air baku untuk konsumsi minum, standar 10 lt per orang per hari
  5. Potensi air hujan yang bisa ditangkap 800-1000 lt per bulan
  6. Teknologi yang tersedia = filter air sungai/rawa, gabungan rain harvesting dan cloud catcher, embung (tampungan air hujan) dengan teknologi dan bahan yang tersedia di lapangan.
  7. SOP cara mengaplikasikan, memaintance, mengukur ketepatan teknologi
  8. Sumber dana : kitabisa.com, dikti, mata garuda
  9. Pada pelaksanaannya : dibatasi selama 1 tahun, berikutnya ke adik budi untuk melanjutkan program ini

 

FGD grup sosial budaya

  1. Dari filsafat, ekonomi, komunikasi
  2. Minim data tentang papua
  3. Opinion leader menjadi panutan (guru, misionaris, pendeta, kepala suku)
  4. Sinergitas antar kelembagaan
  5. Jangka panjang àBeasiswa untuk anak papua yang sekolah di Jawa (sebagai pioneer)
  6. Jangka pendek à mengadakan TOT mahasiswa UGM yang akan berangkat ke asmat
  7. Rekomendasi kepada LPM UGM untuk diberikan pelatihan kepada mhs KKN di papua dalam pengelolaan air bersih hasil desain teknik(minimal ada mhs asal papua)
  8. Relokasi suku asmat à tidak setuju
  9. Perubahan sosial à sense of belowing
  10. Metode experial learning (sekolah, rumah ibadah)
–          FGD tahap 2 dan Silaturahim dengan Awardee BUDI 2017 14 Februari 2018 Direktorat Pengabdian Kepada Masyarakat dan Pondok Cabe Resto Pemikiran tersebut sejalan dan didampingi oleh pak Rachmawan Budiarto yaitu sekretaris Direktorat Pengabdian Kepada Masyarakat. acara dilanjutkan dengan ramah tamah bersama tim kontribusi untuk negeri di Pondok Cabe Bistro
–          Pembuatan prototype alat dan uji coba 1 13 februari 2018 Halaman Fakultas MIPA Uji coba alat
–          Pembuatan Protopite alat dan uji coba 2 15 februari 2018 Laboratorium Jackson Morin Uji coba alat
–          FGD tahap 3 bersama Mata Garuda Papua 20 februari 2018 Direktorat Pengabdian Kepada Masyarakat Kordinasi dengan para mata garuda dan pak Rachmawan
–          Prototype alat dan Uji Coba 3 1 Maret  2018 Laboratorium Jackson Morin  
–          Penyerahan Alat ke UGM 12 April 2018 DPkM Alat diterima secara simbolis oleh Direktur Direktorat Pengabdian Kepada Masyarakat UGM, yaitu Prof Irvan. Belaiu berjanji bahwa alat ini akan dibawa bersama mahasiswa KKN UGM di Asmat.
–          Pembuatan Proposal dan pengajuan hibah Teknologi Tepat Guna  

10 April 2018

DPkM Program Kontribusi Untuk Negeri mendapatkan bantuan dana dari para awardee dan KAS budi untuk pembuatan Alat hingga proses FGD dan produksi 25 Unit didapatkan dana dari program hibah Teknologi Tepat Guna UGM senilai 40 juta rupiah dengan dosen Pengusul adalah Pak Fadli dari Fakultas Teknik
–          FGD tahap 4 dengan mahasiswa KKM dan DPL Asmat 25 Juni 2018 DPkM Pemaparan cara kerja alat penyaring air kepada para mahasiswa yang akan KKN di Asmat.
–          FGD tahap 5 persiapan Pemberangkatan KKN UGM dan penyerahan alat 20 unit 5 Juli 2018 DPkM Alat telah sampai di Asmat dan diterima oleh Bupati Asmat.
–          Evaluasi    

 

 

 

 

https://www.lpdp.kemenkeu.go.id/kontribusi-nyata-awardee-lpdp-menjernihkan-air-di-asmat/

https://www.republika.co.id/berita/nasional/daerah/18/02/08/p3tc70409-krisis-air-bersih-jadi-masalah-terbesar-warga-asmat

https://finance.detik.com/infrastruktur/d-3857125/pupr-sumber-air-di-asmat-terbatas-dan-kualitasnya-jelek

https://nusantara.rmol.co/read/2018/02/23/327843/Duh,-Rakyat-Asmat-Masih-Kekurangan-Air-Bersih…-

 

It’s my turn!

Alhamdulillah sdh selesai mempresentasikan hasil peneilitian bersama teman2. Proyek penelitian yg singkat ini saya sebut sebagai proyek balas budi. Dulu, thn 2015, saya diajak kolaborasi menulis oleh bapak Nidjo Sandjojo. Pak nidjo ini secara pribadi saya tidak kenal, bahkan bertemu pun belum *i hope someday we will meet pak. Tapi, sejak paper kami terindeks scopus *waktu itu blm jaman scopus2an kayaknya*, dan telah disitasi bbrp orang, saya merasa bahagia krn hasil karya kami bermanfaat bagi org lain. Rasa percaya diri saya meningkat, dan saya mulai berani menulis jurnal dan conference bertaraf internasional.

Saya membalas budi pak nidjo dengan menuliskan paper kami di seminar nasional. Dan saya meneruskan semangat beliau dengan kolaborasi menulis. Sangat menginspirasi.

Sejak saat itu saya berpikir, kalau dosen senior mau mengajak rekan yuniornya utk berkolaborasi menulis, maka banyak dampak positif yang akan didapatkan. Setidaknya, ada pengalaman menulis, pengalaman kerjasama, pengalaman punya scopus id *yg terakhir mungkin bonus ya, jgn dijadikan tujuan utama*.

So, saya mengajak teman2 kolaborasi dan direspon oleh Rima Dias RamadhaniAgus PriyantoDwi Januarita AK dan Danny Kurnianto. Mereka kebanyakan memang blm punya banyak pengalaman menulis paper berbahasa inggris, atau bisa jadi ini pengalaman pertamanya. Saya harap someday, mereka akan mengajak rekan2 dosen lain utk menulis, dan mudah2an jd penyemangat utk menjadi pribadi yg selalu ingin belajar.

Amin…
Krabi, Thailand
21 Maret 2018

Alhamdulillah, paper kami telah terbit *meskipun baru abstraknya* di Jurnal IJECE Q2 Scopus,  Vol 8, No 5 .

Jurnal kali ini menerapkan metode LFPP untuk menentukan kualitas website universitas. LFPP digunakan untuk menentukan bobot prioritas setiap kriteria pengujian berdasarkan tingkat kepentingannya. LFPP merupakan metode pengembangan dari FPP yang menerapkan logaritma bilangan natural untuk mengatasi kelemahan FPP. Metode FPP memiliki kekurangan dalam penentuan nilai keanggotaan fuzzy yang negatif, dimana hal ini tidak masuk akal. Selain itu, metode FPP menghasilkan nilai yang jamak, sedangkan seharusnya nilai optimal yang diharapkan adalah tunggal. LFPP menjawab semua kekurangan FPP, sehingga nilai yang dihasilkan tak lagi negatif, dan menghasilkan solusi tunggal.

Berikut ini abstraknya :

The current tight competition in developing University websites forces developers to create better products that meet users needs and convinient. There are at least two factors representing university websites; accessibility and usability. We test three criteria of accessibility and usability that are called stickiness, backlink, and web page loading time. Usability and accessibility are closely related to subjective user judgments. Human judgment cannot be valid. Thus the use of fuzzy numbers are expected to provide solutions in calculating the results. In this research, the question of usability is a multi criteria decision-making problem that is caused by its complex structure. We use the Logarithmic Fuzzy Preference Programming (LFPP) method, which is a refinement of the Fuzzy Analytical Hierarchy Process  method, to solve this problem. This research aims to re- assess the rank of five Indonesian university websites. Based on LFPP method, we obtain that the equation of model gets high consistency of the set priority matching to fuzzy pairwise comparison matrix of three selection criteria. The calculation results show that stickiness is the most significant factor that affects the quality of the websites.

Love at the first sight

Si dia kadang datang tiba-tiba, mungkin saat di cafe, di saat ospek, atau bahkan saat sama2 antri sembako 😀 . Tapi, untuk memulai perkenalan dengan seseorang yang tidak kita kenal sama sekali tentu bukanlah perkara mudah. Alih-alih mendapatkan nomer HP nya, anda justru malah ditolak mentah-mentah. Nah, gimana caranya biar kita bisa dapat lebih dekat dengan si dia?

  • Jangan tanyakan “boleh kenalan gak?” karena pada umumnya cewek akan menolak perkenalan dari cowok iseng yang baru dikenalnya. Perkenalan dengan pura2 tanya jam juga tidak disarankan, karena itu sudah trik kuno untuk merebut perhatiannya. Sebaliknya, jika anda sedang di rumah makan, tanyakan padanya, “boleh ambilkan kecap?” atau “mbak, pinjem pensilnya ya” atau “mbak, ini antrian sembako udah dari jam berapa ya?”. Pokoknya perbincangan umum yang tidak menunjukkan anda tertarik secara mencolok.
  • Selanjutnya, jika si dia sudah mau membuka diri untuk berkata “ya”, anda bisa lanjutkan percakapan yang lebih umum, seperti “mbak suka bola juga ya, kok pake jersey bola…”

Secret admirer

Kalau udah lama tau tp belum pernah ngobrol, anda mungkin bs memulai dengan stalking2 medosnya. Cari apa kesukaannya, dan carilah kesamaan2 antara anda dengan dia. Dengan demikian, percakapan akan mengalir dengan mudahnya. Misalkan, jika kalian sama2 hobby traveling, anda bisa tanyakan, udah travelling kemana aja? atau kalaupun tidak ada hobby yang sama, anda bisa mulai dengan kalimat “eh, kamu asalnya dari jakarta ya? sama patung selamat datang sebelah mananya?” dst dst

Kalau sudah punya nomer HP nya, misalkan kalian tergabung di grup yang sama, anda bisa memulai dengan pura2 salah posting ke jalur pribadinya 😀 . Nah, semoga hari ini menyenangkan, selamat mencoba !

 

Yogyakarta, 18 September 2017

Tom Tullis, Bill Albert : Measuring the user experience

Severity ratings atau tingkat kepelikan permasalahan usability tidak selalu sama, beberapa issue nampak serius dibandingkan yang lain. Sebagian usability issues antara lain user yang frustasi atau jengkel sehingga menimbulkan kesalahan dalam membuat keputusan atau kehilangan data. Terdapat dua tipe sistem pemeringkatan kepelikan :

  1. Severity ratings berdasarkan murni pada dampak terhadap pengalaman pengguna (user experience), semakin buruk user experience, maka severity ratings semakin tinggi.
  2. Severity ratings yang membawa dampak pada beberapa faktor, seperti user experience, prediksi frekuensi dari penggunaan, dan dampak terhadap tujuan bisnis. Dalam hal ini severity ratings yang tinggi berarti user gagal dalam melakukan tugas yang sangat penting pada proses bisnis. Misalkan, seseorang yang ingin membeli sesuatu di situs web, menemukan produknya, tapi kemudian gagal membelinya.

Severity Ratings Based on the User Experience

Rendah:

Setiap masalah yang mengganggu atau membuat frustrasi partisipan namun tidak memiliki peranan dalam kegagalan saat menyelesaikan task. Inilah jenis masalah yang mungkin menyebabkan seseorang keluar jalur, tapi masih dapat diatasi sehingga user dapat menyelesaikan tugasnya. Masalah ini hanya dapat mengurangi efisiensi dan / atau kepuasan dalam jumlah kecil, jika ada.

Sedang:

Setiap masalah yang berkontribusi namun tidak secara langsung mempengaruhi kegagalan tugas. Peserta sering mengembangkan pekerjaan sekitarnya untuk mendapatkan apa yang mereka butuhkan. Masalah ini memiliki dampak pada efektivitas dan kemungkinan efisiensi dan kepuasan.

Tinggi:

Setiap masalah yang langsung menyebabkan kegagalan dalam melaksanakan tugas. Jenis masalah ini memiliki dampak yang signifikan pada efektivitas, efisiensi, dan kepuasan.

Severity Ratings Based on a Combination of Factors

Rubin (1994) menawarkan cara yang berbeda untuk melihat kombinasi tingkat keparahan dan frekuensi terjadinya masalah. Pertama, dia memberikan tingkat kepelikan pada 4 poin skala (1 = iritan, 2 = sedang, 3 = berat, 4 = tidak dapat digunakan). Selanjutnya, dikelompokkan berdasarkan frekuensi terjadinya, juga pada skala 4 :

1 = terjadi <10 persen dari waktu;

2 = terjadi 11 sampai 50 persen dari waktu;

3 = terjadi 51 sampai 89 persen dari waktu;

4 = terjadi lebih dari 90 persen dari waktu.

Pendekatan ini memberikan tingkat kepelikan dalam bentuk skor numeris  yang mungkin bisa membantu bila dikombinasikan dengan jenis data lainnya.

Gambar di bawah ini menunjukkan panduan pengambilan keputusan tentang skala pemeringkatan dengan mempertimbangkan frekuensi dan dampak masalah terhadap pengalaman pengguna.

Penggunaan severity rating system

Setelah menyelesaikan sistem penilaian tingkat kepelikan sebuah permasalahan user experience,  beberapa hal yang perlu dipertimbangkan antara lain : 

Pertama, konsisten:

Tentukan satu sistem penilaian tingkat kepelikan, dan gunakan itu untuk semua studi Anda. Dengan menggunakan sistem penilaian tingkat kepelikan yang sama, akan dapat dibuat perbandingan bermakna pada keseluruhan penelitian, serta membantu melatih audiens  pada perbedaan antara tingkat kepelikan. Semakin banyak pendengar  menginternalisasi sistem ini, semakin persuasif dalam mempromosikan solusi perancangan.

Kedua, jelas komunikasikan apa arti setiap tingkat:

Berikan contoh masing-masing tingkatkan sebanyak mungkin, hal ini sangat penting bagi usability specialist lain pada tim yang mungkin juga menentukan peringkat. Penting agar pengembang, perancang, dan analis bisnis memahami setiap tingkat kepelikannya. ketidakmampuan  audiens memahami setiap tingkat, semakin mudah untuk mempengaruhi solusi desain untuk masalah dengan prioritas tertinggi.

Ketiga, usahakan agar lebih dari satu kegunaan spesialis menentukan tingkat keparahan masing-masing isu.

Salah satu pendekatan yang berjalan dengan baik adalah memiliki spesialis kegunaan memberikan penilaian keparahan secara tersendiri kepada masing-masing masalah, kemudian mendiskusikan masalah apa pun dimana mereka memberikan peringkat yang berbeda dan mencoba untuk menyepakati tingkat yang sesuai.

Yogyakarta, 13 September 2017

Nielsen, Jakob, and Landauer, Thomas K.: “A mathematical model of the finding of usability problems,” Proceedings of ACM INTERCHI’93 Conference (Amsterdam, The Netherlands, 24-29 April 1993), pp. 206-213.

 

Ya, cukup 5 user saja untuk melakukan usability testing. Beberapa orang berpikir bahwa usability testing akan menghabiskan banyak waktu dan biaya. INI TIDAK BENAR! Hasil terbaik dari pengujian tidak lebih dari 5 user pada pengujian kecil sebanyak yang anda mampu.

Pada penelitian yang dilakukan Tom Landauer dan Nielsen, terlihat bahwa jumlah persoalan usability ditemukan pada n user adalah

(1-(1- )

Dimana

N = jumlah total masalah kegunaan dalam desain  

L = proporsi masalah kegunaan yang ditemukan saat menguji satu pengguna.

Nilai  L adalah 31%, dirata-ratakan di sejumlah besar proyek yang telah diteliti oleh Nielsen. Kurva untuk L = 31% memberikan hasil sebagai berikut:

 

Grafik diatas menggambarkan :

  • Kebenaran yang paling mencolok dari kurva adalah bahwa jumlah user nol memberi hasil nol (tidak menunjukkan usability problem sama sekali).

 

  • Ketika kita menguji usability dengan 1 user saja, sudah menunjukkan hampir sepertiga dari semua yang perlu diketahui tentang usability problem pada desain. Perbedaan antara nol dan bahkan sedikit data pun mencengangkan.
  • Ketika kita menambah user menjadi 2, kita akan menemukan bahwa orang ini melakukan beberapa hal yang sama dengan pengguna pertama, jadi ada beberapa tumpang tindih dengan apa yang telah kita pelajari dari user pertama. Meskipun demikian, setiap orang adalah unik, sehingga akan ada juga sesuatu yang baru yang pengguna kedua lakukan yang tidak kita amati dengan user pertama. Jadi user kedua menambahkan sejumlah wawasan baru, namun tidak sebanyak user pertama.

 

  • User ketiga akan melakukan banyak hal yang sudah kita amati dengan user pertama dan atau user kedua dan bahkan beberapa hal yang sudah kita lihat dua kali. Plus, tentu saja, user ketiga akan menghasilkan sejumlah kecil data baru, meski tidak sebanyak user pertama dan user kedua.
  • Saat kita menambahkan lebih banyak pengguna, kita belajar lebih sedikit dan kurang karena kita akan terus melihat hal yang sama berulang-ulang. Tidak ada kebutuhan nyata untuk terus mengamati hal yang sama beberapa kali, dan kita akan sangat termotivasi untuk kembali ke papan gambar dan merancang ulang situs untuk menghilangkan masalah usability.

  • Setelah user kelima, kita akan membuang-buang waktu dengan mengamati temuan yang sama berulang kali namun tidak banyak belajar hal-hal baru mengenai usability problem.

Meskipun grafik diatas menunjukkan, setidaknya ada 15 user yang dilibatkan dalam pengujian, akan tetapi, hal ini tidak dianjurkan. Mengapa? lebih baik kita mendistribusikan anggaran untuk tes-tes kecil pada 3-5 user saja. Terlalu banyak user yang dilibatkan tidak akan menghasilkan studi yang signifikan terhadap permasalahan usability. Yang lebih penting adalah iterative design! Uji-perbaiki-uji lagi-perbaiki lagi, sampai benar2 fix tanpa problem lagi.

Jadi, mengapa tidak pakai satu user saja untuk pengujian? hal ini terlalu beresiko, kita perlu meneliti pendapat orang lain juga untuk memberikan masukan terkait desain. Lagipula, dari hasil pengujian menggunakan analisis cost benefit menunjukkan rasio optimal sekitar 3 atau 5 pengguna, bergantung pada gaya pengujian.

Nah, begitulah kira2 mengapa hanya perlu 5 pengguna saja dalam pengujian usability!

Yogyakarta, 23 Agustus 2017

 

 

Analogi sup yang dimodifikasi

Ketika koki lain mencicicipi sup : exploratory

Ketika koki menilai untuk resep tertentu : predictive

Ketika koki mencicipi sup saat memasaknya : formative

Ketika tamu mencicipi sup : summative

Beberapa definisi usability :

Shackel 1991  : efektifitas, kemudahan dipelajari, fleksibilitas, dan sikap

Jordan 1998 : kemampuan menebak, kemampuan dipelajari, performansi pengalaman pengguna, potensial sistem (secara teori, seberapa efisien  tugas yang diberikan dapat dilengkapi oleh sistem yang bersangkutan), dan kegunaan kembali.

ISO/DIS 9241-11 : efektifitas, efisiensi , kepuasan.

Efektifitas : akurasi dan kelengkapan dengan yang dispesifikasikan user dapat dicapai tujuan spesifik dalam lingkungan tertentu.

Efisiensi : jumlah sumber daya yang dikeluarkan dibangingkan dengan akurasi dan kelengkapan tujuan yang dicapai.

Kepuasan : kenyamanan dan penerimaan sistem untuk pengguna dan orang lain yang di sebabkan dari penggunaan

 

Ada 4 buah tipe evaluasi, berdasarkan tujuan evaluasi

  1. Exploratory – bagaimana penggunaannya?

Dilakukan sebelum pembangunan interface

Mempelajari bagaimana s/w digunakan, seberapa sering dan untuk apa

Mengumpulkan data yang digunakan – catatan statistik dan observasi dari penggunaan

  1. Predictive – memprediksi (akan) seberapa baik ?

Memperkirakan seluruh kualitas dari interface (seperti summative evaluation, tapi prediksi dilakukan di muka

Dilakukan sekali saat desain selesai dibuat, tapi sebelum proses implementasi

  1. Formative – bagaimana dapat menjadi lebih baik ?

Memberitahukan proses desain dan membantu meningkatkan interface selama desain

Dilakukan selama pembangunan interface

Mempelajari mengapa sesuatu menjadi salah , tidak hanya pada saat terjadi kesalahan

Mengumpulkan data proses-pengamatan kualitatif dari apa yang terjadi dan bagaimana

  1. Summative – seberapa baik?

Penilaian dari semua kualitas dari interface

Dilakukan satu kali pada interface (kurang lebih) telah selesai

Membandingkan desain alternatif, atau menguji kebutuhan performansi yang telah di definisikan

Method category Name of method Described in (among others)

Empirical methods

Usability test (also called thinking aloud method)(Lewis, 1982)

User performance test(Nielsen, 1993)

Remote usability test(Hilbert & Redmiles, 1998)

Beta test(Smilowitz et al., 1993)

Forum test(Smilowitz et al., 1993)

Cooperative evaluation(Wright & Monk, 1991b)

Coaching method(Nielsen, 1993)

Inspection method

Expert review(Hammond et al., 1984)

Heuristic evaluation(Nielsen & Molich, 1990)

Cognitive walkthrough (CW)(Lewis et al., 1990)

Pluralistic walkthrough(Bias, 1994)

Structured heuristic evaluation(Kurosu et al., 1999)

Perspective-based inspection(Zhang et al., 1998)

Inquiry methods

User satisfaction questionnaire(Kirakowski & Dillon, 1988)

Field observation(Gould, 1988)

Focus group(Zirkler & Ballman, 1994)

Interviews(Gould, 1988)

 

Thesis User Evaluation Methods, Nielsen, 1999

 

 

Title : Comparing University Ranking

Author : Isidro F. Aguillo • Judit Bar-Ilan • Mark Levene • Jose ´ Luis Ortega

Journal : Scientometrics (2010) 85:243–256, DOI 10.1007/s11192-010-0190-z

REVIEW RESULT

Dalam penelitian ini, Isidro, dkk membandingkan sejumlah hasil pemeringkatan universitas di dunia. Terdaoat setidaknya 5 jenis pemeringkatan perguruan tinggi yang digunakan sebagai perbandingan. Hasil perbandingan metode pemeringkatan dapat dilihat pada tabel berikut ini :

Dari hasil perhitungan similaritas, maka berdasarkan sample dari perguruan tinggi di Eropa, dapat disimpulkann bahwa perbedaan terbesar metode perangkingan terdapat pada  QS-THE dan WR. Sedangkan kesamaan tertinggi terdapat pada perangkingan HEEACT dan CWTS. Secara keseluruhan kemiripannya akan meningkat jika perbandingan dilakukan terbatas pada universitas-universitas di Eropa.

 

Kelemahan peringkat2 diatas antara lain :

  1. THE-QS didasarkan pada jumlah perguruan tinggi yang sedikit, dan survey yang dianggap kurang representatif, terutama terdapat representasi yang berlebihan pada universitas di UK dan Australia.
  2. Webometrics merupakan perangkingan yang paling berbeda, hal ini dimungkinkan karena praktik buruk dalam penamaan web universitas, memiliki 2 atau lebih domain, perubahan url web universitas, dan aktivitas lain.

Dari segi metodologi, hendaknya diperhatikan beberapa aspek yaitu :

  1. Teknik similaritas tidak diimbangi dengan uji korelasi, di duga terdapat kemungkinan dapat menggambarkan nilai yang lebih tinggi jika menggunakan korelasi peringkat.
  2. Dengan cara yang berbeda, nilai2 ini di normalisasi. Hal ini menjelaskan mengapa tes tersebut tidak memberikan hasil yang serupa.
  3. Terkait dengan kriteria inklusi, yaitu daftar universitas yang digunakan dalam metode peringkat yang digunakan dalam penelitian ini tidak sama. Misalkan , CWTS memiliki kebijakan untuk menggabungkan universitas2 maju, sedangkan organisasi dengan publikasi yang rendah tidak dimasukkan dalam perankingan.

Purwokerto, 5 Agustus 2017

 

Mengapa perlu ada peringkat institusi perguruan tinggi?

Pada dasarnya langkah untuk melakukan pemeringkatan Perguruan Tinggi dilakukan untuk berbagai macam tujuan, antara lain : 

  1. Merespon permintaan masyarakat agar dapat dengan mudah mendapatkan informasi tentang keberadaan sebuah Perguruan Tinggi;
  2. Merangsang persaingan diantara Perguruan Tinggi;
  3. Menyediakan beberapa alasan untuk pengalokasian dana;
  4. Membantu membedakan antara berbagai jenis institusi dan berbagai program disiplin ilmu;
  5. Berkontribusi pada “kualitas” Perguruan Tinggi di negara tertentu ( dengan ditambahkan penilaian kualitas dan review secara independen).

Apakah Berlin Principles itu?

Berawal dari pendirian International Ranking Expert Group (IREG) pada tahun 2014 oleh UNESCO pusat Eropa untuk Pendidikan Tinggi di Bucharest dan Institut kebijakan Pendidikan Tinggi di Washington DC. Pada pertemuan kedua, di kota Berlin, 18-20 Mei 2006, diadakan kesepakatan untuk mempertimbangkan seperangkat praktik baik dalam peringkat Perguruan Tinggi pada lembaga Pendidikan.

16 prinsip Berlin (dibagi 4 sub bab)

Tujuan Perangkingan

  1. Menggunakan salah satu dari  sejumlah pendekatan yang beragam terhadap penilaian Perguruan Tinggi, meliputi masukan , proses, dan keluaran.
  2. Memiliki tujuan dan target kelompok yang jelas.
  3. Kenali keragaman institusi dan ambil berbagai misi dan sasaran lembaga.
  4. Berikan kejelasan tentang berbagai sumber informasi untuk ranking dan pesan yang dihasilkan dari sumber.
  5. Tentukan konteks bahasa, budaya, ekonomi, dan sejarah sistem pendidikan yang akan di ranking.

Desain dan pembobotan indikator

  1. Metodologi yang digunakan dalam perankingan harus transparan.
  2. Pemilihan indikator berdasarkan relevansi dan validitas.
  3. Pengukuran hasil berdasarkan input yang sesuai.
  4. Buat bobot yang ditetapkan ke berbagai indikator dan batasi perubahannya

Pengumpulan dan pemrosesan data

  1. Perhatikan dengan seksama standar etika dan rekomendasi praktik yang baik yang disampaikan dalam Prinsip ini.
  2. Gunakan data yang diaudit dan dapat diverifikasi bila memungkinkan.
  3. Termasuk data yang dikumpulkan dengan prosedur yang tepat untuk pengumpulan data ilmiah.
  4. Terapkan ukuran jaminan kualitas untuk menentukan proses sendiri.
  5. Terapkan ukuran organisasi yang meningkatkan kredibilitas peringkat.

Penyajian hasil perankingan

  1. Berikan konsumen pemahaman yang jelas tentang semua faktor yang digunakan untuk mengembangkan peringkat, dan menawarkan pilihan bagaimana peringkat ditampilkan.
  2. Dikompilasi dengan cara yang menghilangkan atau mengurangi kesalahan pada data asli, dan menjadi terorganisir dan diterbitkan dengan cara dimana kesalahan dapat diperbaiki.

Berlin, 20 Mei 2006