DETEKSI ABJAD BAHASA ISYARAT BISINDO REAL-TIME PADA SMARTPHONE MENGGUNAKAN YOLOV11
DOI:
https://doi.org/10.24076/joism.2026v7i2.2532Keywords:
BISINDO, abjad bahasa isyarat, YOLOv11, RF-DETR, deteksi real-timeAbstract
Bahasa isyarat merupakan sarana komunikasi utama bagi komunitas tunarungu dan penyandang gangguan pendengaran, sekaligus berperan penting dalam meningkatkan inklusivitas sosial dan menjembatani kesenjangan komunikasi dengan masyarakat umum. Seiring meningkatnya jumlah penyandang gangguan pendengaran, diperlukan solusi komunikasi yang mudah diakses dan bersifat adaptif. Perkembangan kecerdasan buatan dan pembelajaran mesin memberikan peluang untuk mengotomatisasi deteksi bahasa isyarat secara real-time. Penelitian ini mengembangkan sistem deteksi abjad BISINDO A–Z menggunakan dua pendekatan, yaitu YOLOv11 dan RF-DETR. YOLOv11 dipilih karena arsitekturnya ringan dan efisien untuk perangkat mobile, sedangkan RF-DETR digunakan sebagai pembanding berbasis Transformer dengan tingkat akurasi tinggi. Hasil eksperimen menunjukkan bahwa RF-DETR mencapai akurasi lebih tinggi dengan mAP@50 sebesar 99,8%, namun terbatas pada implementasi berbasis web. YOLOv11 memperoleh mAP@50 sebesar 99,4% dan berhasil diimplementasikan pada smartphone Android dengan kinerja real-time yang responsif. Temuan ini menunjukkan bahwa YOLOv11 lebih layak untuk aplikasi deteksi abjad BISINDO berbasis perangkat mobile.
References
[1] Tao, Tangfei & Zhao, Yizhe & Liu, Tianyu & Zhu, Jieli. (2024). Sign Language Recognition: A Comprehensive Review of Traditional and Deep learning Approaches, Datasets, and Challenges. IEEE Access. PP. 1-1. 10.1109/ACCESS.2024.3398806.
[2] Alaftekin, M., Pacal, I. & Cicek, K. Real-time sign language recognition based on YOLO algorithm. Neural Comput & Applic 36, 7609–7624 (2024). https://doi.org/10.1007/s00521-024-09503-6
[3] Sanjaya, Samuel Ady (2024), “BISINDO Indonesian Sign Language: Alphabet Image Data”, Mendeley Data, V1, doi: 10.17632/ywnjpbcz8m.1).
[4] Virgiyawan, D. A. (2024). Pengenalan bahasa isyarat menggunakan deteksi objek deep learning (Skripsi Sarjana, Universitas Muhammadiyah Makassar, Fakultas Teknik, Program Studi Informatika).
[5] Maulida, S. (2023). Analisis Akurasi Pada Simbol Abjad Sistem Isyarat Bahasa Indonesia (SIBI) Menggunakan Metode CNN dan YOLO (You Only Look Once) (Doctoral dissertation, UIN Ar-Raniry Banda Aceh).
[6] Imam, A. K., Aeni, K., & Fathulloh, F. (2023). DETEKSI SISTEM ISYARAT BAHASA INDONESIA (SIBI) MENGGUNAKAN ALGORITMA YOLOV5S. Indonesian Journal of Informatics and Research, 4(2).
[7] Febrina Silalahi, A. V., Setianing Budi, A., Januaray Satya Ega, W., Yoga Adi Pranata, M., Sudarma, D. C. K., & Arsa Suyadnya, I. M. (2024). Aplikasi Penerjemah Bahasa Isyarat BISINDO Menggunakan Metode YOLOv5 Berbasis Mobile. Jurnal SPEKTRUM, 11(3), 13–25.
[8] Luthfy, D., Setianingsih, C., & Paryasto, M. W. (2023). Indonesian Sign Language Classification Using You Only Look Once. eProceedings of Engineering, 10(1).
[9] Halim, H., & Lina, L. (2023). Aplikasi Pengidentifikasi Bahasa Isyarat Berdasarkan Gerak Tubuh Secara Real-time Menggunakan Yolo. Simtek: jurnal sistem informasi dan teknik komputer, 8(2), 300-304.
[10] Saraswati, D. A., & Towidjojo, V. D. (2022). Bahasa Isyarat Indonesia. Jurnal Medical Profession (Medpro), 4(1), 8-14.
[11] G. Chassagnon, M. Vakalopolou, N. Paragios, and M. P. Revel, “Deep learning: Definition and perspectives for thoracic imaging,” European Radiology, vol. 30, no. 4, pp. 2021–2030, 2020.
[12] Angel Metanosa Afinda. (3 August 2024). Neural Network: Cikal Bakal Revolusi . Dicoding Blog. https://www.dicoding.com/blog/neural-network- cikal-bakal-revolusi-deep-learning/
[13] Rita Puspita Sari (25 April 2025 ).Pengantar Fine-Tuning dalam AI. AIHub.id. https://aihub.id/pengetahuan-dasar/fine-tuning
[14] Mardiyah, M. I. (2020). Pengembangan Sistem A. (Skripsi, Universitas Islam Indonesia)
[15] Agung Ma'ruf. (2023, Juli). Indonesian Sign Language - BISINDO. https://www.kaggle.com/datasets/agungmrf/indonesian-sign-language-bisindo
[16] Roboflow. (2024). RF-DETR: Real-time Transformer Object Detection. dari https://roboflow.com/model/rf-detr
[17] Anggreany, M. S. (2020, 1 November). Confusion Matrix. School of ComputerScience,BINUSUniversity. ,https://socs.binus.ac.id/2020/11/01/conf usion-matrix/
Downloads
Published
Issue
Section
License
Copyright (c) 2026 Journal of Information System Management (JOISM)
This work is licensed under a Creative Commons Attribution 4.0 International License.
