Studi ini bertujuan untuk mengembangkan kerangka kerja desain berbasis kasus untuk menganalisis ulasan pengguna online dan memahami preferensi pengguna dalam desain terkait konten Massive Open Online Course (MOOC). Tujuan lain adalah untuk mengidentifikasi tren masa depan dari desain terkait konten MOOC. Penelitian ini mengekstrak pasangan kata kunci yang kemudian disebut Feature-Sentiment-Pairs (FSPs) menggunakan penambangan teks untuk mengidentifikasi preferensi pengguna. Kemudian preferensi pengguna digunakan sebagai fitur desain terkait konten MOOC. Ulasan online dikumpulkan dari www.coursera.org sebagai studi kasus MOOC. Kerangka kerja ini bertujuan untuk menggunakan data ulasan online berskala besar ini sebagai data kualitatif dan mengubahnya menjadi informasi yang bermakna kuantitatif, terutama pada desain terkait konten sehingga perancang MOOC dapat menentukan konten yang lebih baik berdasarkan data tersebut. Kerangka kerja ini menggabungkan tampilan ulasan online, penambangan teks, dan analitik data untuk mengungkapkan informasi baru tentang preferensi pengguna dari desain terkait konten MOOC. Kerangka kerja ini dapat menghindari fitur yang tidak diinginkan pada desain terkait konten MOOC dan juga mempercepat identifikasi preferensi pengguna
Tujuan dari Data-Driven Design adalah untuk mendesain sistem berdasarkan data yang disediakan. Pola dari data yang tersedia ditemukan dengan menggunakan algoritma penambangan data. Hasilnya akan digunakan sebagai sistem desain baru. Tantangan penggunaan Data-Driven Design sebagai proses evaluasi produk adalah struktur data, pemahaman data, informasi yang tidak lengkap, sifat data, dan keterbatasan kognitif individu. Data seringkali tidak terstruktur dan heterogen; Oleh karena itu, data tersebut wajib diolah menjadi informasi. Oleh karena itu, tantangan utama dari desain berbasis data adalah mengubah data tidak terstruktur berskala besar menjadi informasi yang bermakna sehingga orang dapat memanfaatkan pengetahuan tersebut.
Penambangan data berupa teks dalam konteks penelitian ini adalah mentransformasikan teks yang tidak terstruktur menjadi huruf bilangan. Dapat dikatakan bahwa teks tidak terstruktur mengacu pada data kualitatif, dan vektor angka merupakan data kuantitatif. Vektor-vektor tersebut nantinya akan digunakan sebagai masukan untuk proses pada framework. Proses tersebut akan melibatkan algoritma penambangan data untuk memprediksi hasil klasifikasi.
Studi ini bertujuan untuk membantu perancang platform pembelajaran MOOC untuk memahami kebutuhan pengguna tanpa harus menjelajahi ulasan online setiap saat. Pengguna di sini adalah siswa yang menggunakan MOOC sebagai platform pembelajaran. Sistem otomasi desain dibuat untuk menganalisis ulasan online pengguna dan mendapatkan fitur yang paling sering muncul pada data ulasan online. Penambangan teks digunakan untuk memperoleh kata kunci kemudian dipasangkan sebagai FSPs. Akhirnya, hasil sistem disebut model mesin dan dibandingkan dengan hasil buatan manusia yang disebut model manusia. Tujuan perbandingan adalah untuk mengetahui performa model mesin. Model manusia digunakan sebagai variabel kontrol.
Hasil FSPs dari Machine Model menuju Human Model membuktikan bahwa framework berhasil mengubah data yang tidak terstruktur menjadi informasi yang bermakna. Karena data digunakan sebagai sumber utama dalam pengambilan keputusan dalam kerangka kerja ini, pendekatan yang digunakan dalam kerangka ini adalah desain berbasis data. Data-driven design membuat keputusan mengenai pengembangan desain terkait konten dan desain sistem sepenuhnya berdasarkan data yang dikumpulkan dari MOOC, khususnya data tentang bagaimana pengguna MOOC berinteraksi dengan sistem seperti yang terlihat pada forum diskusi MOOC.
Hasil kuantitatif membantu desainer untuk menemukan kata dan frekuensinya yang sering muncul dalam data review. Ini akan memberikan saran kepada desainer untuk menambah fitur baru atau menyempurnakan fitur yang ada di MOOC terutama fitur yang berhubungan dengan konten. Meskipun menggunakan hasil kuantitatif lebih mudah untuk memvalidasi dan menganalisis data, ini juga berfungsi dengan baik dalam data skala besar. Namun, ada beberapa kelemahan dalam menggunakan hasil kuantitatif. Berbeda dengan data kualitatif, data kuantitatif tidak memiliki informasi yang lebih spesifik karena kalimat-kalimat dari data review online dipisahkan menjadi satu sama lain.
Kerangka yang diusulkan menghasilkan informasi yang berguna untuk mendukung desain berbasis data di MOOC. MOOC dapat menggunakan FSP sebagai evaluasi isinya. Ini mendukung pengambilan keputusan berdasarkan data dalam fitur terkait konten. Klasifikasi analisis sentimen telah dilakukan dengan menggunakan Support Vector Machine, dengan angka akurasi, presisi, recall, dan skor F1 di atas 80%. FSP positif dan negatif berhasil mendeskripsikan preferensi pengguna di MOOC, khususnya di Coursera. Keluarannya berupa daftar fitur spesifik dan frekuensi FSP sehingga dapat diurutkan berdasarkan tampilan FSP yang paling sering. Desainer dapat mengevaluasi fitur terkait konten MOOC untuk meningkatkan fitur konten produk. Diperlukan studi lebih lanjut untuk meningkatkan akurasi hasil Model Mesin dengan menambahkan lebih banyak dataset dan mengurangi kesalahan pemrosesan komputasi.
Penulis: Nasa Zata Dina, S.Kom., M.Kom., M.Sc
Informasi detail dari riset ini dapat dilihat pada tulisan kami di:
https://online-journals.org/index.php/i-jet/article/view/17095/8501
Nasa Zata Dina, Riky Tri Yunardi, Aji Akbar Firdaus. (2021). Utilizing Text Mining and Feature-Sentiment-Pairs to Support Data-Driven Design Automation Massive Open Online Course. International Journal of Emerging Technologies in Learning, 16(1): 134-151
