Nielsen, Jakob, and Landauer, Thomas K.: “A mathematical model of the finding of usability problems,” Proceedings of ACM INTERCHI’93 Conference (Amsterdam, The Netherlands, 24-29 April 1993), pp. 206-213.

Ya, cukup 5 user saja untuk melakukan usability testing. Beberapa orang berpikir bahwa usability testing akan menghabiskan banyak waktu dan biaya. INI TIDAK BENAR! Hasil terbaik dari pengujian tidak lebih dari 5 user pada pengujian kecil sebanyak yang anda mampu.

Pada penelitian yang dilakukan Tom Landauer dan Nielsen, terlihat bahwa jumlah persoalan usability ditemukan pada n user adalah

N (1-(1- L ) ⁿ )

Dimana

N = jumlah total masalah kegunaan dalam desain  

L = proporsi masalah kegunaan yang ditemukan saat menguji satu pengguna.

Nilai  L adalah 31%, dirata-ratakan di sejumlah besar proyek yang telah diteliti oleh Nielsen. Kurva untuk L = 31% memberikan hasil sebagai berikut:

Grafik diatas menggambarkan :

• Kebenaran yang paling mencolok dari kurva adalah bahwa jumlah user nol memberi hasil nol (tidak menunjukkan usability problem sama sekali).

• Ketika kita menguji usability dengan 1 user saja, sudah menunjukkan hampir sepertiga dari semua yang perlu diketahui tentang usability problem pada desain. Perbedaan antara nol dan bahkan sedikit data pun mencengangkan.
• Ketika kita menambah user menjadi 2, kita akan menemukan bahwa orang ini melakukan beberapa hal yang sama dengan pengguna pertama, jadi ada beberapa tumpang tindih dengan apa yang telah kita pelajari dari user pertama. Meskipun demikian, setiap orang adalah unik, sehingga akan ada juga sesuatu yang baru yang pengguna kedua lakukan yang tidak kita amati dengan user pertama. Jadi user kedua menambahkan sejumlah wawasan baru, namun tidak sebanyak user pertama.

• User ketiga akan melakukan banyak hal yang sudah kita amati dengan user pertama dan atau user kedua dan bahkan beberapa hal yang sudah kita lihat dua kali. Plus, tentu saja, user ketiga akan menghasilkan sejumlah kecil data baru, meski tidak sebanyak user pertama dan user kedua.

• Saat kita menambahkan lebih banyak pengguna, kita belajar lebih sedikit dan kurang karena kita akan terus melihat hal yang sama berulang-ulang. Tidak ada kebutuhan nyata untuk terus mengamati hal yang sama beberapa kali, dan kita akan sangat termotivasi untuk kembali ke papan gambar dan merancang ulang situs untuk menghilangkan masalah usability.

• Setelah user kelima, kita akan membuang-buang waktu dengan mengamati temuan yang sama berulang kali namun tidak banyak belajar hal-hal baru mengenai usability problem.

Meskipun grafik diatas menunjukkan, setidaknya ada 15 user yang dilibatkan dalam pengujian, akan tetapi, hal ini tidak dianjurkan. Mengapa? lebih baik kita mendistribusikan anggaran untuk tes-tes kecil pada 3-5 user saja. Terlalu banyak user yang dilibatkan tidak akan menghasilkan studi yang signifikan terhadap permasalahan usability. Yang lebih penting adalah iterative design! Uji-perbaiki-uji lagi-perbaiki lagi, sampai benar2 fix tanpa problem lagi.

Jadi, mengapa tidak pakai satu user saja untuk pengujian? hal ini terlalu beresiko, kita perlu meneliti pendapat orang lain juga untuk memberikan masukan terkait desain. Lagipula, dari hasil pengujian menggunakan analisis cost benefit menunjukkan rasio optimal sekitar 3 atau 5 pengguna, bergantung pada gaya pengujian.

Nah, begitulah kira2 mengapa hanya perlu 5 pengguna saja dalam pengujian usability!

Yogyakarta, 23 Agustus 2017

Title : Comparing University Ranking

Author : Isidro F. Aguillo • Judit Bar-Ilan • Mark Levene • Jose ´ Luis Ortega

Journal : Scientometrics (2010) 85:243–256, DOI 10.1007/s11192-010-0190-z

REVIEW RESULT

Dalam penelitian ini, Isidro, dkk membandingkan sejumlah hasil pemeringkatan universitas di dunia. Terdaoat setidaknya 5 jenis pemeringkatan perguruan tinggi yang digunakan sebagai perbandingan. Hasil perbandingan metode pemeringkatan dapat dilihat pada tabel berikut ini :

Dari hasil perhitungan similaritas, maka berdasarkan sample dari perguruan tinggi di Eropa, dapat disimpulkann bahwa perbedaan terbesar metode perangkingan terdapat pada  QS-THE dan WR. Sedangkan kesamaan tertinggi terdapat pada perangkingan HEEACT dan CWTS. Secara keseluruhan kemiripannya akan meningkat jika perbandingan dilakukan terbatas pada universitas-universitas di Eropa.

Kelemahan peringkat2 diatas antara lain :

1. THE-QS didasarkan pada jumlah perguruan tinggi yang sedikit, dan survey yang dianggap kurang representatif, terutama terdapat representasi yang berlebihan pada universitas di UK dan Australia.
2. Webometrics merupakan perangkingan yang paling berbeda, hal ini dimungkinkan karena praktik buruk dalam penamaan web universitas, memiliki 2 atau lebih domain, perubahan url web universitas, dan aktivitas lain.

Dari segi metodologi, hendaknya diperhatikan beberapa aspek yaitu :

1. Teknik similaritas tidak diimbangi dengan uji korelasi, di duga terdapat kemungkinan dapat menggambarkan nilai yang lebih tinggi jika menggunakan korelasi peringkat.
2. Dengan cara yang berbeda, nilai2 ini di normalisasi. Hal ini menjelaskan mengapa tes tersebut tidak memberikan hasil yang serupa.
3. Terkait dengan kriteria inklusi, yaitu daftar universitas yang digunakan dalam metode peringkat yang digunakan dalam penelitian ini tidak sama. Misalkan , CWTS memiliki kebijakan untuk menggabungkan universitas2 maju, sedangkan organisasi dengan publikasi yang rendah tidak dimasukkan dalam perankingan.

Purwokerto, 5 Agustus 2017

Mengapa perlu ada peringkat institusi perguruan tinggi?

Pada dasarnya langkah untuk melakukan pemeringkatan Perguruan Tinggi dilakukan untuk berbagai macam tujuan, antara lain : 

1. Merespon permintaan masyarakat agar dapat dengan mudah mendapatkan informasi tentang keberadaan sebuah Perguruan Tinggi;
2. Merangsang persaingan diantara Perguruan Tinggi;
3. Menyediakan beberapa alasan untuk pengalokasian dana;
4. Membantu membedakan antara berbagai jenis institusi dan berbagai program disiplin ilmu;
5. Berkontribusi pada “kualitas” Perguruan Tinggi di negara tertentu ( dengan ditambahkan penilaian kualitas dan review secara independen).

Apakah Berlin Principles itu?

Berawal dari pendirian International Ranking Expert Group (IREG) pada tahun 2014 oleh UNESCO pusat Eropa untuk Pendidikan Tinggi di Bucharest dan Institut kebijakan Pendidikan Tinggi di Washington DC. Pada pertemuan kedua, di kota Berlin, 18-20 Mei 2006, diadakan kesepakatan untuk mempertimbangkan seperangkat praktik baik dalam peringkat Perguruan Tinggi pada lembaga Pendidikan.

16 prinsip Berlin (dibagi 4 sub bab)

Tujuan Perangkingan

1. Menggunakan salah satu dari  sejumlah pendekatan yang beragam terhadap penilaian Perguruan Tinggi, meliputi masukan , proses, dan keluaran.
2. Memiliki tujuan dan target kelompok yang jelas.
3. Kenali keragaman institusi dan ambil berbagai misi dan sasaran lembaga.
4. Berikan kejelasan tentang berbagai sumber informasi untuk ranking dan pesan yang dihasilkan dari sumber.
5. Tentukan konteks bahasa, budaya, ekonomi, dan sejarah sistem pendidikan yang akan di ranking.

Desain dan pembobotan indikator

1. Metodologi yang digunakan dalam perankingan harus transparan.
2. Pemilihan indikator berdasarkan relevansi dan validitas.
3. Pengukuran hasil berdasarkan input yang sesuai.

4. Buat bobot yang ditetapkan ke berbagai indikator dan batasi perubahannya

Pengumpulan dan pemrosesan data

1. Perhatikan dengan seksama standar etika dan rekomendasi praktik yang baik yang disampaikan dalam Prinsip ini.
2. Gunakan data yang diaudit dan dapat diverifikasi bila memungkinkan.
3. Termasuk data yang dikumpulkan dengan prosedur yang tepat untuk pengumpulan data ilmiah.
4. Terapkan ukuran jaminan kualitas untuk menentukan proses sendiri.
5. Terapkan ukuran organisasi yang meningkatkan kredibilitas peringkat.

Penyajian hasil perankingan

1. Berikan konsumen pemahaman yang jelas tentang semua faktor yang digunakan untuk mengembangkan peringkat, dan menawarkan pilihan bagaimana peringkat ditampilkan.
2. Dikompilasi dengan cara yang menghilangkan atau mengurangi kesalahan pada data asli, dan menjadi terorganisir dan diterbitkan dengan cara dimana kesalahan dapat diperbaiki.

Berlin, 20 Mei 2006

Apa yang Anda pertimbangkan dalam memilih perguruan tinggi? Pernahkah Anda mendengar peringkat sebuah universitas? Mengapa sebuah universitas memiliki peringkat berbeda2? Saya akan membahas nya satu persatu.

Pada umumnya, pemeringkatan sebuah universitas dilakukan untuk mempermudah calon mahasiswa dalam memilih perguruan tinggi, memperlihatkan “kualitas” perguruan tinggi yang bersangkutan, atau melihat dimana “posisi” kampus kita. Hal ini mendukung adanya keinginan setiap perguruan tinggi menjadi World Class University. Kualitas perguruan tinggi yang diakui oleh internasional akan menjadi tolak ukur keberhasilan dalam mencapai tujuan menjadi universitas kelas dunia. Akan tetapi, metode dan kriteria sebuah lembaga pemeringkat perguruan tinggi sangat bervariasi, sehingga, hasilnya akan berbeda satu sama lain. Beberapa versi pemeringkatan universitas antara lain webometrics, uniRank, eduroute, QS, dan DIKTI.

Webometrics

Merupakan peringkat universitas yang populer di Indonesia, bahkan sering dijadikan “acuan” kualitas perguruan tinggi. Webometrics digagas oleh sejumlah peneliti dari Cybermetrics Lab, Spanyol sejak 2004. Webometrics rilis setiap semester (setahun 2 kali) dengan meranking sekitar 12 ribu universitas di seluruh dunia. Mereka menggunakan metode penilaian 50% impact dan 50% activity (dibagi lagi menjadi 3 kriteria yaitu presence, openess dan scholar).

Webometrics menghitung sejumlah aktifitas sebuah perguruan tinggi di dunia maya. Semakin populer (dilihat dari impact — jumlah link yang merujuk pada halaman web), semakin eksis (dilihat dari banyaknya jumah halaman web, dan frekuensi update web), semakin terbuka (dilihat dari banyaknya jumlah file pdf yang dapat diakses pengguna), dan semakin aktif meneliti (dilihat dari banyaknya jumlah publikasi dosen, mahasiswa dan staff yang di share), maka semakin baik rankingnya. Webometrics menggunakan tools majesticSEO dan ahrefs untuk melihat indikator jumlah backlink, serta google scholar dan schimago untuk melihat indikator publikasi. Jumlah file terbuka yang dapat diindeks oleh google juga dijadikan indikator penilaian.

Indikator webometrics sangat bergantung pada komitmen institusi terhadap publikasi web. Dengan demikian, terdapat kemungkinan beberapa universitas dengan kualitas akademik tinggi  berada pada peringkat rendah dari yang diharapkan, dikarenakan kebijakan publikasi web yang dibatasi. Sebagai contoh, sebuah universitas memiliki kebijakan privasi perguruan tinggi untuk tidak membuka akses publikasi ilmiah dosen dan mahasiswa, sehingga pengguna internet tidak dapat leluasa mengunduh artikel2 karya ilmiah tersebut.

uniRank

uniRank^™ (dulu disebut 4 International Colleges & Universities or 4icu.org) merupakan pemeringkatan universitas berdasarkan popularitas website. Sejak tahun 2005, uniRank merilis peringkat sekitar 12,358 universitas, pada 200 negara. Kriteria penilaian berdasarkan algoritma 5 metrik yang independen dan tidak bias bersumber dari 4 web intelligence :

1. Moz Domain Authority
2. Alexa Global Rank
3. SimilarWeb Global Rank
4. Majestic Referring Domains
5. Majestic Trust Flow

Metodologi yang digunakan dalam situs ini menempatkan perguruan tinggi dan universitas berdasarkan popularitas dan penggunaan situs web mereka; sesuai klaim mereka, uniRank tidak mengukur kualitas sekolah atau program mereka berdasarkan kualitas pendidikan atau kualitas layanan.

eduroute

Eduroute fokus meneliti dan mengevaluasi situs web universitas dan bukan kinerja sebuah universitas. Indikator yang digunakan dalam ranking universitas adalah quality of links and content, volume, online scientific information, dan links quantity.

Mesin peringkat universitas melewati tiga tahap utama dan penting yaitu:

1. Evaluasi otomatis yang terjadi tiga kali sebulan sebelum ranking resmi diumumkan.

2. Perhitungan rata-rata antara hasil yang diperoleh untuk evaluasi otomatis untuk memastikan integritas dan keakuratan data.

3. Pengujian manual acak yang dilakukan dengan mengambil sampel acak sebanyak 25% dari 1000 universitas teratas dan kemudian sampel 5% dari universitas lainnya.

Eduroute merilis ranking perguruan tinggi pada tahun 2011, namun sayangnya tidak melanjutkan perankingan hingga saat ini.

Quacquarelli Symonds (QS)

QS telah memproduksi peringkat sejak peluncuran QS World University Rankings® pada tahun 2004. Indikator penilaian QS rank adalah : 

1. Reputasi akademis (bobot 30%): Survei dilakukan ke kalangan akademisi kampus di setiap jurusan/pogram studi untuk mengukur kekuatan jurusan/program studi tersebut
2. Reputasi karyawan (bobot 20%): Mensurvei karyawan administrasi perguruan tinggi untuk mengukur kualitas layanan administasi perguruan tinggi.
3. Rasio fakultas/mahasiswa (bobot 20%): Dihitung dari rasio jumlah dosen dengan jumlah mahasiswa yang lulus dari setiap program studi di perguruan tinggi
4. Penghargaan hasil riset (bobot 15%): Indikatornya adalah jumlah riset ilmiah perguruan tinggi yang mendapatkan penghargaan sebagai tolok ukur reputasi karya ilmiah tersebut, yang dianalisis dengan program Scopus.
5. Jumlah riset ilmiah per fakultas (bobot 15%): Dengan menggunakan aplikasi Scopus, jumlah riset ilmiah per fakultas dikalkulasi menjadi skor dengan bobot penilaian 15%.
6. Proporsi fakultas internasional (2,5%) dan mahasiswa internasional (2,5%): Indikator ini menganalisis jumlah program studi internasional yang ada di perguruan tinggi tersebut. Sementara itu, pengukuran jumlah mahasiswa program studi internasional itu dilihat dari rasio jumlah mahasiswa internasional dibandingkan dengan pegawai administrasi PT sebagai penentu kualitas layanan administrasi program studi internasional tersebut.
7. Proporsi pertukaran mahasiswa ke luar negeri (2,5%) dan proporsi penerimaan pertukaran mahasiswa dari luar negeri: Indikator ini dilihat dari jumlah mahasiswa yang dikirim ke luar negeri dalam rangka program pertukaran mahasiswa serta penerimaan mahasiswa dari luar negeri dalam rangka program tersebut.

Dikarenakan peringkatnya didasarkan pada penilaian peer review dan employer review, maka hal ini tidak terlalu menguntungkan bagi universitas yang belum benar2 memenuhi standar, terutama pada negara2 tertentu. Jumlah riset dengan pengindeks scopus tentu memiliki konsekuensi biaya yang tidak sedikit. Sedangkan proporsi pertukaran mahasiswa ke luar negeri merupakan indikator yang lumayan sulit untuk negara2 berkembang.

DIKTI

Ranking DIKTI  dibuat oleh pemerintah Indonesia. Direktorat Jenderal Pendidikan Tinggi (Dikti) melakukan pemeringkatan terhadap 3.320 (tiga ribu tiga ratus dua puluh) perguruan tinggi di Indonesia berdasarkan kriteria sebagai berikut:

1. Dosen (12%): menghitung jumlah dosen berpendidikan doktor, dan memiliki jabatan fungsional lektor kepala / guru besar, serta kecukupan jumlah dosen tetap
2. Kualitas dosen (18%): menghitung jumlah dosen tetap terhadap jumlah mahasiswa pada perguruan tinggi bersangkutan
3. Akreditasi (30%): menilai akreditasi institusi maupun jumlah program studi terakreditasi A maupun B.
4. Kualitas kegiatan kemahasiswaan (10%): menilai prestasi mahasiswa
5. Kualitas kegiatan penelitian (30%): menghitung capaian kinerja penelitian sesuai kreteria yang ditentukan serta jumlah dokumen yang terindeks scopus.

Masih banyak lagi kriteria penilaian perguruan tinggi yang lain, beberapa indikatornya ada yang mirip, ada pula yang beda sama sekali. Demikianlah ulasan mengenai ranking2 perguruan tinggi, postingan selanjutnya, saya akan membahas tentang IREG dan Berlin Principles. International Ranking Expert Group (IREG) merupakan organisasi yang didirikan pada tahun 2004 oleh Pusat Pendidikan Tinggi Eropa UNESCO (UNESCO-CEPES) di Bucharest dan Institut Kebijakan Pendidikan Tinggi di Washington, DC. Atas inisiatif inilah IREG’s pada pertemuan kedua (Berlin, 18 sampai 20 Mei, 2006) telah diadakan perundingan untuk mempertimbangkan seperangkat prinsip kualitas dan praktik yang baik dalam peringkat Higher Education Institution (disebut dengan Berlin Principles).

Purwokerto, 30 Juni – 1 Juli 2017

*dalam renungan malam yang dingin dan secangkir kopi panas

Link terkait :

http://www.webometrics.info/en/About_Us

https://www.topuniversities.com/university-rankings

http://www.4icu.org/about/

http://www.eduroute.info/University-Ranking-System.aspx

http://halokampus.com/kuliah/peringkat-ranking- universitas-indonesia/

https://en.wikipedia.org/wiki/College_and_university_rankings

Abstrak

Kualitas perangkat lunak merupakan kunci sukses dalam bisnis teknologi informasi. Oleh karena itu, sebelum dipasarkan, perlu dilakukan pengukuran kualitas perangkat lunak untuk memenuhi kebutuhan pengguna. Beberapa metode pengukuran kualitas perangkat lunak telah diteliti dalam perspektif yang berbeda, kami menyajikan metode perangkat lunak tersebut dalam perspektif pengguna dan pakar. Penelitian ini bertujuan memetakan metode pengukuran kualitas perangkat lunak dalam berbagai model kualitas. Menggunakan metode Systematic Mapping Study, kami melakukan pencarian dan penyaringan makalah menggunakan inclusion dan exclusion kriteria, dan didapatkan 42 paper yang relevan. Hasil pemetaan menunjukkan meskipun model ISO SQuaRE telah banyak digunakan dalam 5 tahun terakhir, dan mengalami dinamika naik dan turun, namun penelitian di Indonesia masih memakai ISO 9126 sampai akhir tahun 2016. Metode pengukuran kualitas perangkat lunak yang paling banyak digunakan adalah metode empiris, dan beberapa peneliti telah melakukan pendekatan AHP dan fuzzy dalam perhitungan kualitas perangkat lunak.

Background

Kualitas produk perangkat lunak merupakan faktor penting dalam bisnis[1]. Kualitas produk perangkat lunak ditentukan oleh seberapa banyak produk memenuhi kebutuhan pengguna, seberapa banyak produk melakukan kinerjanya, dan seberapa banyak jumlah cacat dalam perangkat lunak tersebut[2]. Oleh karena itu, perlu dilakukan pengecekan kualitas sebelum produk perangkat lunak dipasarkan, sebab perbaikan setelah pengiriman dinilai sangat mahal dan mempengaruhi kredibilitas perusahaan[3]. Kualitas produk perangkat lunak telah diteliti oleh beberapa peneliti dalam perspektif yang berbeda, seperti Model Boehm[4], Model Dromey[5], Model McCall[6], ISO/IEC 9126[7] dan ISO/IEC SQuaRE[8]. Berdasarkan model yang telah ditentukan, kualitas produk perangkat lunak diukur dalam hal kemampuan untuk memenuhi tujuan pengembang dan kebutuhan para pengguna[9]. Berdasarkan hal tersebut, faktor manusia sebagai pengguna perlu dilibatkan  dalam metode pengukuran perangkat lunak. Mengadopsi dari istilah Usability Evaluation Method, maka pengukuran perangkat lunak dibagi menjadi dua, yaitu analytical method (pengukuran oleh para pakar) dan empirical method (pengukuran oleh pengguna)[10]–[12]. Pakar tersebut meliputi akademisi dan praktisi di bidang software engineering, content expert dan technical expert. Sedangkan pengguna yang dimaksud adalah end user, termasuk manager, karyawan, dosen, mahasiswa atau pelangan yang menggunakan perangkat lunak. Penelitian ini bertujuan untuk melihat tren model dan metode pengukuran perangkat lunak dalam kurun waktu 10 tahun terakhir. Trend model dan metode tersebut digunakan sebagai acuan perbaikan dalam penelitian berikutnya. Penelitian ini menggunakan metode Systematic Mapping Study berdasarkan pertanyaan penelitian. Metode ini menyediakan gambaran mengenai research area, mengidentifikasi jumlah penelitian, tipe penelitian dan hasil yang tersedia[13]. Makalah ini diorganisasikan sebagai berikut. Bab 2 membahas tentang model dan metode pengukuran kualitas perangkat lunak. Bab 3 menyajikan metode dari Systematic Mapping Study. Bab 4 menjelaskan tentang hasil dari Systematic Mapping Study dan bab 5 menyajikan kesimpulan dan menyarankan beberapa area untuk penyelidikan lebih lanjut.

Jika anda menginginkan artikel tersebut lebih lengkap, anda dapat mendownloadnya di sini. Artikel ini merupakan artikel pertama saya yang diindeks oleh scopus, melalui International Journal of Electrical and Computer Engineering (IJECE). Mudah mudahan bermanfaat.

REFERENCES

[1]        K. El-rayyes and I. M. Abu-zaid, “New Model to Achieve Software Quality Assurance ( SQA ) in Web Application,” vol. 2, no. 7, pp. 423–426, 2012.

[2]         Y. Sowunmi, “An Empirical Evaluation of Software Quality Assurance Practices and Challenges in a Developing Country,” pp. 867–871, 2015.

[3]         K. A. Shah, “How To Improve Software Quality Assurance in Developing Countries,” vol. 3, no. 2, pp. 17–28, 2012.

[4]         B. W. Boehm, “Software Engineering,” vol. C, no. 12, pp. 1226–1241, 1976.

[5]         R. G. Dromey, “A Model for Software Product Quality,” vol. 21, no. 2, 1995.

[6]         V. Lakshmi Narasimhan and B. Hendradjaya, “Some theoretical considerations for a suite of metrics for the integration of software components,” Inf. Sci. (Ny)., vol. 177, no. 3, pp. 844–864, Feb. 2006.

[7]         International Organization for Standardization, “Information technology — Software product quality,” ISO/IEC Fdis 9126-1, vol. 2000. pp. 1–26, 2000.

[8]         International Organization for Standardization, “Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models,” ISO, vol. 2011. p. 34, 2011.

[9]         J. S. Challa, A. Paul, Y. Dada, and V. Nerella, “Integrated Software Quality Evaluation : A Fuzzy Multi-Criteria Approach,” vol. 7, no. 3, pp. 473–518, 2011.

[10]       Z. Bai and A. F. Blackwell, “Analytic review of usability evaluation in ISMAR,” Interact. Comput., vol. 24, no. 6, pp. 450–460, 2012.

[11]       S. S. Aparna and K. K. Baseer, “A Systematic Review on Measuring and Evaluating Web Usability in Model Driven Web Development,” Ncetse, pp. 171–180, 2014.

[12]       M. C. S. Torrente, A. B. M. Prieto, D. A. Gutiérrez, and M. E. A. De Sagastegui, “Sirius: A heuristic-based framework for measuring web usability adapted to the type of website,” J. Syst. Softw., vol. 86, no. 3, pp. 649–663, 2013.

[13]       K. Petersen, R. Feldt, S. Mujtaba, and M. Mattsson, “Systematic Mapping Studies in Software Engineering,” 12Th Int. Conf. Eval. Assess. Softw. Eng., vol. 17, p. 10, 2008.