Multilabel Aspect-Based Emotion Analysis Pada Ulasan Aplikasi IKD: Pengaruh Focal Loss dan Threshold Tuning Menggunakan Indobert

Viviana Purba; Eka Dyar Wahyuni; Tri Luhur Indayanti Sugata

doi:10.70340/jirsi.v5i2.448

Penulis

Viviana Purba Universitas Pembangunan Nasional “Veteran” Jawa Timur
Eka Dyar Wahyuni Universitas Pembangunan Nasional “Veteran” Jawa Timur
Tri Luhur Indayanti Sugata Universitas Pembangunan Nasional “Veteran” Jawa Timur

DOI:

https://doi.org/10.70340/jirsi.v5i2.448

Kata Kunci:

Aspect-Based Emotion Analysis, IndoBERT, Focal Loss, Threshold Tuning, Multilabel Classification

Abstrak

Ulasan pengguna aplikasi Identitas Kependudukan Digital (IKD) mengandung berbagai emosi terhadap berbagai aspek layanan. Ulasan ini tidak hanya mencerminkan tingkat kepuasan terhadap layanan, tetapi juga mencakup pengalaman, keluhan, harapan, dan persepsi masyarakat terhadap kualitas sistem yang digunakan. Penelitian ini bertujuan mengembangkan model Aspect-Based Emotion Analysis (ABEA) berbasis multilabel menggunakan end-to-end IndoBERT untuk mengidentifikasi emosi pengguna pada setiap aspek layanan aplikasi IKD, sekaligus menganalisis pengaruh penerapan Focal Loss dan threshold tuning terhadap performa klasifikasi pada kondisi distribusi label yang sangat tidak seimbang. Data dikumpulkan dari 13.197 ulasan pengguna di Google Play Store dalam rentang Juni 2024 hingga November 2025 menggunakan metode web scraping, kemudian dibersihkan dan difilter hingga menghasilkan 6.891 data. Aspek layanan diidentifikasi secara empiris menggunakan BERTopic. Pelabelan dilakukan oleh tiga anotator manusia dan dua anotator AI dengan label final ditentukan melalui majority voting. Model dikembangkan melalui 6 skenario eksperimen yang memvariasikan preprocessing, Focal Loss, threshold tuning dan rasio split data. Evaluasi menggunakan metrik F1 Score Macro, F1 Score Micro, Precision, Recall, dan Hamming Loss. BERTopic menghasilkan Coherence Score 0,6196 dan Topic Diversity 0,92 dengan 5 aspek representatif. Model paling optimal diperoleh dengan konfigurasi Focal Loss, threshold 0,4, dan split 60:20:20 mencapai F1 Score Macro 0,3916, meningkat 24,1% dari baseline, dengan F1 Score Micro 0,9134 dan Recall 0,9423. Model terpilih berhasil diintegrasikan ke sistem berbasis web menggunakan framework Flask untuk memvisualisasikan hasil klasifikasi. Emosi marah mendominasi ulasan pada aspek Login & Akses Akun dan Scan Barcode ke Dukcapil, sementara aspek Dokumen & Layanan Digital mencatat emosi gembira tertinggi. Kombinasi Focal Loss dan threshold tuning terbukti efektif menangani ketidakseimbangan distribusi label pada klasifikasi multilabel ABEA berbahasa Indonesia.

Unduhan

Data unduhan belum tersedia.

Referensi

Irma Nurdiana and Khithoh Ayumi, “Implementasi Aplikasi Identitas Kependudukan Digital (IKD) Di Disdukcapil Kota Tanjungpinang,” Harmoni Sos. J. Pengabdi. Dan Solidar. Masy., vol. 1, no. 2, pp. 50–58, Apr. 2024, doi: 10.62383/harmoni.v1i2.141.

P. Hakiki, D. Satria, and A. A. Arifiyanti, “Prediksi Sentimen dan Pemodelan Topik dari Ulasan Aplikasi Identitas Kependudukan Digital,” Jutisi J. Ilm. Tek. Inform. Dan Sist. Inf., vol. 14, no. 1, p. 760, Jul. 2025, doi: 10.35889/jutisi.v14i1.2777.

Kementerian Dalam Negeri, “Peraturan Menteri Dalam Negeri Nomor 72 Tahun 2022 tentang Standar dan Spesifikasi Perangkat Keras, Perangkat Lunak, dan Blangko Kartu Tanda Penduduk Elektronik serta Penyelenggaraan Identitas Kependudukan Digital.” 2022. [Online]. Available: https://peraturan.bpk.go.id/Details/247759/permendagri-no-72-tahun-2022

D. S. Akbar Rizki, M. S. Khabib, N. Rahmayuna, and V. G. Utomo, “Klasifikasi Sentimen Ulasan Pengguna Aplikasi Layanan Publik Google Play Store Menggunakan NLP dan ML,” J. Tekno Kompak, vol. 20, no. 1, pp. 51–64, Oct. 2025, doi: https://doi.org/10.33365/jtk.v20i1.586.

D. E. Sondakh, R. C. Maringka, F. P. Ayorbaba, J. S. C. B. T. Mangi, and S. R. Pungus, “Emotion Mining User Review of the BRImo Mobile Banking Application Using the Decision Tree Algorithm,” J. Sisfokom Sist. Inf. Dan Komput., vol. 12, no. 3, pp. 350–355, Nov. 2023, doi: 10.32736/sisfokom.v12i3.1721.

L. De Bruyne, A. Karimi, O. De Clercq, A. Prati, and V. Hoste, “Aspect-Based Emotion Analysis and Multimodal Coreference: A Case Study of Customer Comments on Adidas Instagram Posts,” in Proceedings of the Thirteenth Language Resources and Evaluation Conference, European Language Resources Association, Jun. 2022, pp. 574–580. [Online]. Available: https://aclanthology.org/2022.lrec-1.61/

N. C. Mei, S. Tiun, and G. Sastria, “Multi-Label Aspect-Sentiment Classification on Indonesian Cosmetic Product Reviews with IndoBERT Model,” Int. J. Adv. Comput. Sci. Appl., vol. 15, no. 11, 2024, doi: 10.14569/IJACSA.2024.0151168.

N. K. Nissa and E. Yulianti, “Multi-label text classification of Indonesian customer reviews using bidirectional encoder representations from transformers language model,” Int. J. Electr. Comput. Eng. IJECE, vol. 13, no. 5, p. 5641, Oct. 2023, doi: 10.11591/ijece.v13i5.pp5641-5652.

A. Kesanam, G. V. R. Ram, C. S. Banoth, and G. R. M. Reddy, “NITK-VITAL at SemEval-2025 Task 11: Focal-RoBERTa: Addressing Class Imbalance in Multi-Label Emotion Classification,” in Proceedings of the 19th International Workshop on Semantic Evaluation (SemEval-2025), Austria: Association for Computational Linguistics, Jul. 2025, pp. 1077–1081. [Online]. Available: https://aclanthology.org/2025.semeval-1.142/

M. D. Pratiwi and K. D. Tania, “Knowledge Discovery Through Topic Modeling on GoPartner User Reviews Using BERTopic, LDA, and NMF,” J. Appl. Inform. Comput., vol. 9, no. 1, pp. 1–7, Jan. 2025, doi: 10.30871/jaic.v9i1.8782.

M. Grootendorst, “BERTopic: Neural topic modeling with a class-based TF-IDF procedure,” 2022, arXiv. doi: 10.48550/ARXIV.2203.05794.

H. Aka Uymaz and S. Kumova Metin, “Collaborative Emotion Annotation: Assessing the Intersection of Human and AI Performance with GPT Models:,” in Proceedings of the 15th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management, Rome, Italy: SCITEPRESS - Science and Technology Publications, 2023, pp. 298–305. doi: 10.5220/0012183200003598.

G. Marzi, M. Balzano, and D. Marchiori, “K-Alpha Calculator–Krippendorff’s Alpha Calculator: A user-friendly tool for computing Krippendorff’s Alpha inter-rater reliability coefficient,” MethodsX, vol. 12, p. 102545, Jun. 2024, doi: 10.1016/j.mex.2023.102545.

M. C. Hinojosa Lee, J. Braet, and J. Springael, “Performance Metrics for Multilabel Emotion Classification: Comparing Micro, Macro, and Weighted F1-Scores,” Appl. Sci., vol. 14, no. 21, p. 9863, Oct. 2024, doi: 10.3390/app14219863.