Komparasi CNN dan VLM untuk Diagnosis Penyakit Kulit Tropis pada Subset Dataset Derm1M

Abstract

Penyakit kulit tropis menjadi beban kesehatan yang signifikan di Indonesia, sementara distribusi dokter spesialis dermatologi yang tidak merata membuat akses diagnosis dini di daerah terpencil masih sangat terbatas. Penelitian ini bertujuan membandingkan performa klasifikasi dan kualitas penjelasan visual antara tiga model kecerdasan buatan, yaitu EfficientNet-B4 sebagai baseline CNN, LLaVA-7B zero-shot, dan LLaVA-7B dengan fine-tuning QLoRA, dalam mendiagnosis lima kelas penyakit kulit tropis menggunakan subset dataset Derm1M. Sebanyak 5.500 gambar dipilih secara stratified dari lima kelas target, yakni eksim dermatitis, infeksi jamur, urtikaria, jerawat, dan melanoma, kemudian dibagi dengan rasio 72:18:10 untuk pelatihan, validasi, dan pengujian. EfficientNet-B4 dilatih menggunakan 5-Fold Cross-Validation dengan pendekatan two-phase fine-tuning dan Focal Loss, sementara LLaVA-7B diadaptasi melalui teknik QLoRA dengan konfigurasi 4-bit NF4 quantization pada GPU RTX 3060 12GB. Evaluasi mencakup metrik akurasi, presisi, recall, F1-score makro, serta metrik explainability Grad-CAM berupa Average Drop, Average Increase, dan SSIM intra-kelas. LLaVA-7B QLoRA mencapai akurasi tertinggi 77,45% dengan F1-score makro 77,62%, diikuti EfficientNet-B4 sebesar 67,45% dan LLaVA zero-shot sebesar 29,82%. Evaluasi Grad-CAM menunjukkan LLaVA QLoRA paling unggul dengan Average Drop 55,51%, Average Increase 13,33%, dan rata-rata SSIM intra-kelas 0,887. Penelitian ini menyimpulkan bahwa fine-tuning VLM pada domain dermatologi tropis secara signifikan meningkatkan performa klasifikasi dan kualitas explainability, sementara EfficientNet-B4 tetap menjadi pilihan praktis untuk implementasi di fasilitas kesehatan dengan keterbatasan sumber daya komputasi.

GS Cited Analysis