FAKÜLTEMİZ ÖĞRETİM ÜYELERİ PROF. DR. BÜLENT NAFİ ÖRNEK DOÇ. DR. SALİHBERKAN AYDEMİR VE DOÇ. DR. TİMUR DÜZENLİ’DEN YENİ YAYIN
Fakültemiz öğretim üyelerinden Prof. Dr. Bülent Nafi Örnek, Doç. Dr. Salih Berkan Aydemir ve Doç. Dr. Timur Düzenli'nin, Yeditepe Üniversitesi'nden Doç. Dr. Tuğba Akyel ile birlikte yürüttüğü ve Neurocomputing dergisinde yayımlanan çalışmasında, derin öğrenmenin en kritik bileşenlerinden biri olan aktivasyon fonksiyonu tasarımına kompleks analiz teorisi üzerinden yeni bir yaklaşım getirilmiştir.
Radar sinyalleri, MR görüntüleri, haberleşme sistemleri ve kuantum esinli modeller gibi pek çok alanda veriler doğası gereği kompleks sayılarla ifade edilmektedir. Ancak literatürdeki aktivasyon fonksiyonlarının büyük çoğunluğu reel sayılar için tasarlandığından, kompleks alanda analitiklik, kaybolan gradyan ve faz kararsızlığı gibi sorunlara yol açmaktadır. Bu çalışmada önerilen f(z)=Sinhz+ln(Coshz) (SiLC) aktivasyon fonksiyonu, söz konusu sorunları gidermek üzere Schwarz lemması ve sınır uzantıları ile yapılan teorik analizin doğal sonucu olarak elde edilmiştir. Türetilen keskin eşitsizlikler, fonksiyonun kaybolan gradyan problemini yapısal olarak ortadan kaldırdığını ve teorik olarak ulaşılabilir maksimum doğrusalsızlığı sağladığını matematiksel olarak ortaya koymaktadır.
Çalışmanın öne çıkan yönü, aktivasyon fonksiyonunun deneysel bir tercih ya da sezgisel bir tasarım yerine matematiksel bir teoremin sonucu olarak elde edilmesidir. Sigmoid, ReLU, Tanh, Swish ve GELU gibi yaygın fonksiyonlarla yedi gerçek dünya veri kümesi, sentetik kompleks regresyon problemi ve RASPNet (radar), MNIST, Fashion MNIST kıyaslamaları üzerinde yapılan testlerde SiLC; daha yüksek doğruluk, daha pürüzsüz yakınsama ve daha kararlı gradyan akışı sağlamıştır. Özellikle radar sinyal işleme veri kümesi RASPNet'te hata oranını rakiplerine göre yaklaşık %25 oranında azaltmıştır.
Bu yönüyle çalışma, geometrik fonksiyon teorisinin yapay sinir ağı tasarımında işlevsel bir araç olarak kullanılabileceğini göstermekte; teorik temelleri sağlam, kompleks değerli derin öğrenme uygulamalarında etkin biçimde işleyen yeni aktivasyon fonksiyonlarının geliştirilmesine zemin hazırlamaktadır.
Makaleye aşağıdaki bağlantıdan ulaşılabilir: