DETEKSI PENYAKIT KULIT DENGAN MENGGUNAKAN MODEL PRETRAINED DAN HYBRID KNOWLEDGE DISTILLATION

Abstract

Knowledge Distillation (KD) merupakan paradigma efektif untuk mentransfer pengetahuan dari model teacher berkapasitas tinggi ke model student yang ringan melalui kombinasi soft label dan hard label. Meskipun KD Hinton mampu menangkap kesamaan antar kelas, pendekatan ini masih terbatas dalam mentransfer representasi fitur mendalam yang krusial pada tugas pencitraan medis, seperti klasifikasi lesi kulit, di mana fitur halus sering hilang jika hanya mengandalkan keluaran akhir model. Untuk mengatasi keterbatasan tersebut, penelitian ini mengembangkan tiga varian KD, yaitu KD Hinton dengan supervisi hard label, KD dengan penyelarasan fitur, dan Hybrid KD yang mengombinasikan keduanya. Pendekatan ini memungkinkan student meniru distribusi semantik dan representasi fitur internal teacher sekaligus mempertahankan informasi diskriminatif dari ground truth. Eksperimen pada berbagai pasangan teacher–student menunjukkan adanya trade-off antara akurasi dan biaya komputasi. Hasilnya, metode Hybrid KD memberikan peningkatan kinerja tertinggi, mencapai akurasi Top-1 sebesar 82,07% pada MobileNetV2 tanpa menambah kompleksitas model, sehingga efektif untuk aplikasi pencitraan medis real-time berbasis sumber daya terbatas.