Anasayfa / Makine Öğrenmesi / Yapay Sinir Ağları

Yapay Sinir Ağları

Yapay Sinir Ağları ve R Programıyla Uygulama

Artificial Neural Network

Utku Kubilay ÇINAR

 

Yapay sinir ağları (YSA), insan beyninden esinlenerek geliştirilen ve günümüzde kodlama dünyasında sıklıkla kullanılan bir algoritmadır. Bir yapay sinir ağı, yapay sinir hücreleri arasında çeşitli bağlantılarla oluşur. Oluşan bu bağlantılar arasında önem (ağırlık ya da insan beynindeki “sinapslar”) vererek sonuca ulaşmayı amaçlar. Yeni bilgiler keşfetmekte ya da verilerin modellenmesinde dışarıdan yardım almadan, makine kendi kendine öğrenerek belirlenmiş amaca ulaşan bilgisayar (algoritma) sistemleridir.

Yapay sinir ağları modellemesinde giriş (x), çıkış(y) değişkenleri arasındaki ilişki y=f(x)+Hata şeklindedir. Burada hatayı(error) azaltmak için ağırlık(weight)(W) bilgileri ayarlanır ve atanır. Buradaki amaç girdilerin önemine göre bir işlem yaparak, girdilerle işlemi yapmaktır(aktivasyon fonksiyonu). Bir yapay sinir ağında gizli düğüm ya da düğümler olabilir. Model içinde veya giriş ve çıkış katmanları arasında gizlenmiş bir katman ve çevre ile doğrudan bağlantısı olmayan bir katman olabilir. Yapay sinir ağlarının avantajlarından olan bu işlem, yapıyı anlamamızda araştırmacıya kolaylık sağlar.

Bir yapay sinir ağları hücresinin yapıları ise; girdiler, ağırlıklar, toplama fonksiyonu, aktivasyon fonksiyonu ve çıktılardır.

Yapay sinir ağları(YSA)’ nın temelinde girdiler arasında bağlantıları oluşturan esas elemanlardan, bağlantı ağırlıklarının belirlenmesinde öğrenme algoritmalarından fonksiyon oluşturmaktır. Her eleman birbirlerine veri setindeki önemine göre ağırlıklarla bağlıdır. Bu ağırlıklar ise, o iki elemanın bağlantı gücünü gösterir.

Yapay sinir ağları, veri yapısına göre çok katmanlı olabilir. Zaman serilerinde bu durum sıkça karşımıza çıkmaktadır. Gizli katman sayısını ve yapısını belirlemek gerekir. Ağın toplam kaç adet basamaktan oluşacağı, bu basamakların (katmanların) kaç işlem yapacağı, kaç farklı katmana ne kadar ağırlıkla bağlanacağı gibi değerlerin belirlenmesi gerekmektedir. Bu işlemlerle birlikte yapay sinir ağları oluşturulmuş olur. Eğer tahmin modeli oluşturulacaksa yapay sinir ağlarından, bundan sonra yapılması gereken durum kaç tane öngörü yapacağını belirtmek olacaktır. Belirlenen öngörü sayısına(dönemine) göre çıkış nöronu belirlenir.

Yapay sinir ağları, ileri istatistiksel yöntemlerine karşı veri seti için herhangi bir varsayıma ihtiyaç duymaz. Yapay sinir ağlarının temel özelliği ve görevi, veri setindeki yapıyı öğrenmek ve istenilen göreve göre genelleştirmeler yapmasıdır. Bunu yapabilmesi için eğitim veri setinin üstünde çalışarak ağırlıkları belirlemesidir. Böylece her bir gözlemle ağırlıklar değişerek zamanla daha güclü ve sapması azalan bir yapıya dönüşecektir. Böylelikle çıktı olarak verdiği tahminde ya da yapıda genelleştirme yeteneği daha güclü olacaktır. “Ağın ürettiği sonuçlar ise; ağa girilen bilgilerin kendi ağırlıkları (W) ile çarpımlarının toplanması sonucu elde edilen net girdinin, bir transfer fonksiyonu ile işlenmesi ile çıktı katmanından alınmaktadır.”Öztemel, E., (2003)

 

Yapay sinir ağlarında yapının kaç gizli katmandan oluşacağı ya da kaç tane nöronla birleşeceği gibi sayıların belli bir kuralı yoktur. Burada bu sayıları belirlerken deneme yanılma yolu ile belirlenir. Bu çalışmada validasyon işlemleri ile bu sayı belirlenmeye çalışılacaktır. Büyük yapılar için genelde bir ya da iki gizli katman sayılarının yeterli olacağı literatürde belirtilmiştir. Tekrar belirtilmelidir ki bu sayıları belirlemek için bir formül olmadığından test edilerek belirlenmelidir.

Yapay Sinir Ağları 2’e ayrılır:

  1. İleri Beslemeli Ağlar: İleri beslemeli yapay sinir ağlarında aktarılan bilgiler sadece ileri doğru hareket eder yani girişten çıkışa doğru bir hareket söz konusudur. Bir katmandaki nöronlar sadece kendinen sonra gelen katmana gider, ardından sonuç(çıkış) katmanına geçer. İleri beslemeli yapay sinir ağları, giriş katmanındayken dışarıdan gelen bilgilere herhangi bir değişiklik yapmadan bir sonraki katmana aktarır. Bu süreç içinde bilgi, orta ve çıkış katmanında fonksiyonlarla belli bir ağırlığa sahip olur ve çıkış nöronuna yönlendirir.
  2. Geri Beslemeli Yapay Sinir Ağları: En az bir hücrenin çıkışı, diğer herhangi bir hücreye giriş olarak verilir bundan dolayı genellikle geri beslemeli yapay sinir ağlarında bir geciktirme eleman üzerinden yapılır. Besleme işlemi bir katmandaki hücreler arasında olmayabilir, bu sebeple doğrusal ilişkinin varlığından söz edilemez. Bu sebeple yapay sinir ağlarının geri beslemenin yapısı veri setine göre değişkenlik gösterebilir.

Çok katmanlı yapılara sahip yapay sinir ağlarında momentum katsayısı vardır. Ağların yerel sonuçlara takılmaması için momentum katsayısı kullanılır. Bu katsayı ile kabul edilebilir hata düzeyi alta çekilebilir fakat bilgisayar gücü bu konuda önemlidir. Çok katmanlı bir yapıda öğrenme oranı ile momentum ciddi işlem süresini uzatabilir. Momentum değeri, yerel çözümlere takılmayı engellerken sayısının küçük ya da büyük seçilmesine dikkat edilmelidir. Ayrıca bir önceki iterasyon değişiminin belirli bir oranının yeni değişim miktarını etkilemesidir.

Öğrenme oranı belirlenirken fazla bir oran girildiğinde problemi öğrenmekten ziyade verileri ezberler ve bu da veri setinin genellenebilme özelliğini kaybetmesine sebep olur ve hatalı sonuçlar üretilmesine neden olur.

Yapay Sinir Ağlarının Bazı Avantajları

  1. Yapay sinir ağları bir çok hücreden meydana gelir ve bu hücreler eş zamanlı olarak çalışarak karmaşık işlemleri gerçekleştirir.
  2. Yapı üzerinde dağılmış belli tipte non-lineer alt birimler, non-lineer problemlerin de çözümünü mümkün kılmaktadır.
  3. YSA’ lar makine öğrenmesi gerçekleştirebilirler. Olayları öğrenerek benzer olaylar karşısında mantıklı kararlar verebilir.
  4. Geleneksel yöntemlere göre daha hızlı ve literatüre göre daha başarılı tahmin(öngörü) yapabilmektedirler.
  5. Daha önce görülmemiş örnekler hakkında bilgi üretebilirler. YSA’lar eğitimleri sırasında kendilerine verilen örneklerden genellemeler çıkarırlar ve bu genellemeler ile yeni örnekler hakkında bilgi üretebilirler.
  6. Hata töleransı vardır.

 

Yapay sinir ağlarının kullanım alanları: Kontrol ve sistem tanımlama, görüntü ve ses tanıma, tahmin ve kestirim, arıza analizi, tıp, haberleşme, trafik ve üretim yönetimi olarak sayılabilir(Pirim, 2006). Günümüzde sıklıkla sınıflandırma, modelleme ve tahmin uygulamarları üzerine pek çok alanda yaygın olarak kullanılmaktadır. Makine öğrenimi algoritmalarının uygulandığı hemen hemen her alanda kullanıma elverişlidir.

Yapay Sinir Ağları Örnek Uygulaması- R Programı

Yapay sinir ağları çalışırken MASS kütüphanesi içindeki “Boston” veri seti üzerine çalışmalar gerçekleştirilmiştir. Boston veri seti, Boston banliyölerindeki konut değerleri hakkında bir veri topluluğudur. Amacımız, sahip olunan tüm diğer sürekli değişkenleri kullanarak sahiplenmiş evlerin (medv) medyan değerini tahmin etmek ya da belirlemektir.

help(“Boston”) komutu ile veri seti hakkında detaylı bilgiye ulaşabilirsiniz.

Bu kısımda veri seti, keşifçi veri analizlerinden bazılarıyla incelenecektir.

Veri setinde gerektiği durumda veri setinin sınıfını değiştirmek istenildiğinde ya da sınıfını görmek istenildiğinde plot_str() fonksiyonu ile tüm parametrelerin kategorileri görülebilir. Bu görseli istemiyorsanız eğer str() fonksiyonu ile de parametrelerin kategorilerini görebilirsiniz.

Görüldüğü gibi veri seti 506 gözlem ve 14 parametreden oluşmaktadır ve 12 tanesi numerik, 2 tanesi ise integer haldedir.

Eksik gözlemlere bakıldığında eksik veri görülmemiştir. Bu işlemi yaparken apply fonksinoyu kullanılmıştır.

Veride eğer outlier (sapan-aykırı-uç değer) olsaydı şu fonksiyonu yazmamız gerekirdi. Bu fonksiyonun şu avantajı vardır; grafiği ikiye böldüğünü düşünün, sol tarafta aykırı gözlem varken ki hali, öbür tarafta ise aykırı değerlerin silinmiş hali gösterilmektedir. Kıyaslama açısından faydalı olabilir. Veri setimizde eksik gözlem olmadığı için bu işlemi yapmadan keşifçi veri analizine devam edilmiştir.

Korelasyonlar incelenmek istenildiğinde corrplot kütüphanesindeki corrplot fonksiyonu ile korelasyonlar görselleştirilmiştir.

Keşifçi veri analizlerinden birkaç tanesine bakıldıktan sonra uygulamaya başlayalım.

Veri setinde ölçümler farklı olduğu için bu değerlerin aynı baremde birleşebilmesi için veri setinin normalize edilmesi gerekmektedir. Bunun için “scale” formulü kullanılır. Bu normalizasyon işlemini yaparken veri setinde her bir parametrenin maksimum ve minimum değerleri üzerine hesaplanarak gerçekleştirilmiştir. “Scale” fonksiyonu veri setinin karakterini bozmadan ortalaması sıfır, standart sapmasını bir üzerine merkezileştirerek veri setini günceller.

Veri setimizdeki veri dönüşümü ve analize hazır hale getirdikten sonra veri setimizden Test-Eğitim verisini belirleyelim. Literatürde veri setinin % 70 Eğitim, % 30 Test ya da % 80 Eğitim, % 20 Test verisi olarak bölmek kabul görmüştür. Bu uygulamayı yaparken veri setini % 80 Eğitim ve % 20 Test verisi olarak bölündüğünde oluşan güncel veri setimizde 400 Eğitim, 106 Test verisi bulunmaktadır.

Rasgele örneklem seçerken “sample” fonksiyonu kullanılır. Eksik gözlem bulunmadığı için ve yanlı bir seçim olmaması için rasgele örneklem seçilmiştir. Belli bir sayı değil de belli bir oran üzerine bölmek isteseydik eğer şu kodu kullanmamız gerekirdi “sample(1:nrow(data),round(0.80*nrow(data)))” böyle rasgele olarak % 80 veri seti seçilmiş olurdu.

Seçilen test ve eğitim veri setlerinin uzunluk ve derinliğine bakaldığında toplam 14 parametre görülmektedir. Bunlardan medv parametresi bağımlı değişkenimizken diğerleri bağımsız değişkenlerdir.

Amacımız medv bağımlı değişkeni tahmin etmektir. Bunun için ihtiyacımız olan formul ise: “medv ~ crim + zn + indus + chas + nox + rm + age + dis + rad + tax + ptratio + black + lstat” olacaktır. Bu fonksiyon ile parametreler arasına otomatik olarak “+” eklenerek modele eklenecektir.

Gizli argüman, her bir gizli katman için nöronların sayısını içeren bir vektörü kabul ederken, “lineer.output” regresyon yapmak isteyip istemediğimizi belirtmek için kullanılır.

Gizli sınıf katmanlarını deneme yanılma yoluyla deneyerek 2 farklı model kuralım. Biri 2 katmanlı olsun ve ağları ilk adımda 5, diğer adımda 3 olsun diğer modelimizde bir katmandan oluşsun ve 8 ağı olsun.

2 katmanlı birinci modelimiz oluşturalım.

2 katmandan oluşan modelimiz;

Yapay sinir ağı modelimiz görüldüğü gibidir.

Tek gizli katmanlı ikinci modelimiz.

Tek katmandan oluşan modelimiz;

Yapay sinir ağı modelimiz görüldüğü gibidir.

  1. modelimiz yani iki gizli katmandan oluşan modelimiz için üretilen hata değeri için bu kodu kullanabiliriz.
  1. modelimiz için üretilen hata değeri;

Garson Algoritması ile Parametre Önemi Belirleme

Bir sinir ağındaki değişkenleri bağlayan ağırlıklar, standart bir regresyon modelinde parametre katsayılarına kısmen benzerdir ve değişkenler arasındaki ilişkileri tanımlamak için kullanılabilir.

Ters etki bir yanıt değişkeniyle güçlü pozitif veya negatif ilişkilere sahip açıklayıcı değişkenlere verilen ağırlıklar için görülür. Bir sinir ağı ve bir regresyon modeli arasındaki bariz bir fark, eski durumda ağırlıkların sayısının fazla olmasıdır. Bu özellik, belirli değişkenlerin etkilerinin yorumlanmasının zor olmasına rağmen, doğrusal olmayan fonksiyonların çoklu etkileşimlerle modellenmesi için sinir ağlarını çok esnek kılması bakımından avantajlıdır.

Garson Algoritması, model ağırlıkların yapısını bozarak denetimli bir sinir ağındaki tek bir cevap değişkenleri için açıklayıcı değişkenlerin göreceli önemini tanımlar. Garson algoritması ile yapay sinir ağlarında parametrelerin önemi belirlenir.

Yanıt değişkeni için spesifik bir açıklayıcı değişkenin nispi önemi (veya birliğin gücü) ilgili düğümler arasındaki tüm ağırlıklı bağlantıların belirlenmesiyle belirlenebilir. Bağlantılar her giriş düğümü için aranır ve diğer tüm girişlere göre ölçeklenir. Modeldeki yanıt değişkeni ile ilişkiyi açıklayan her açıklayıcı değişken için tek bir değer elde edilmiştir.

Orijinal algoritma, sıfırın mutlak büyüklüğü olarak göreceli önemi gösterir ama yanıtın yönü belirlenemez. Garson Algoritması makine öğreniminin popüler olmasıyla daha da geliştirilerek pozitif ya da negatif yönünü tahmin etmemize olanak verir.

Algoritma sadece bir gizli katmanı ve bir bağımlı değişkenli kurulmuş sinir ağları modelleri için çalışır.

Daha detaylı bilgilere “help(”garson“)” fonksiyonu ile ulaşabilirsiniz.

Bu grafiklerde bağımlı değişkeni etkileyecek en önemli parametleri önem sırası ve önem gücüne göre sıralı görebilmekteyiz.

Pozitif ve negatif kısmi önemi görmek için bakınız: https://www.r-bloggers.com/variable-importance-in-neural-networks/

Hassaslık Analizi Lek Profil

Lek’s Profil yöntemi ile yapay sinir ağlarında hassaslık ölçümü gerçekleştirilebilir.Profil metodu oldukça geneldir ve tahmin metodu ile R’deki herhangi bir istatistiksel modele genişletilebilir. Bununla birlikte, yapay sinir ağlarında duyarlılığı değerlendirmek için yaygın kullanılan birkaç yöntemden biridir.

Lek Profil yöntemi, açıklayıcı değişkenlerin etkisini, herbiri ayrı değişken için değerler aralığı boyunca tahmin edilen yanıtın bir grafiğini döndürerek değerlendirmek için kullanılabilir. Tüm açıklayıcı değişkenler, ortalama (veya başka bir sabit değer) olarak tutulurken, ilgili değişken, gözlem aralığındaki minimumdan maksimum değere dizilir ve matris oluşturulur. Bu matris (veya data frame) daha sonra takılan model nesnesindeki yanıt değişkeninin değerlerini tahmin etmek için kullanılır. Bu, tüm cevap eğrilerini elde etmek için her açıklayıcı değişken için tekrarlanır. Gruplar, derecelendirilmemiş açıklayıcı değişkenlerin sabit olarak tutulduğu değerleri, belirli kümelemeleri, kümelenmeye dayalı grup atamaları veya kullanıcı tarafından tanımlanan keyfi gruplandırma olarak tanımlar.

Grup sayısı, araştırmacı tarafından ayarlanabilir bunun için group_vals = fonksiyonu kullanılmalıdır.

Daha detaylı bilgilere “help(”lekprofile“)” fonksiyonu ile ulaşabilirsiniz.

Unutulmamalıdır ki bu yöntemler sadece gizli katmanı olan yapay sinir ağları için kullanılabilir.

Farklı iterasyonlar ile sonuçları görelim

Çıktıdan ve grafikten de görüldüğü üzere gizli katman sayısı arttıkça ya da katmandaki nöron sayısı arttıkça hata artıyor. Final modelini oluşturmadan önce deneme yanılma yoluyla bu sonuçları elde edip değerlendirmek gerekiyor.

Bu işlemle “nnet” yöntemi yaptığı inteasyonları göstermektedir çıktıda, yaptığı her interasyonu göstererek her seferinde ağırlığı değiştirmektedir. Hatayı düşürerek her seferinde farklı ağırlıklar belirleyerek en optimal düzeye geldiğinde ise döndürmeyi bırakmaktadır. Bu grafikte ağırlıkların katmanlardaki hatalarını göstermektedir.

Yapay Sinir Ağları vs. Lineer Regresyon

Yapay sinir ağları, geleneksel yöntemlere alternatif olarak son yıllarda ciddi oranda kullanımı ve popülerliğini arttırmış durumdadır. Regresyonun varsayımları gibi varsayımlar barındırmayan yapay sinir ağları, makine öğrenmesi algoritmaları arasında özel bir yere sahiptir. Bunun sebebi yapıyı görebilmesi ve genelleştirme yapabiliyor olmasıdır. Her parametrenin etki gücünü kendi belirleyip, önemli olan parametrenin katsayısını arttırarak bağımlı değişken üzerindeki etkisi yükseltir.

Bu örnekte yapay sinir ağları ile geleneksel regresyon kıyaslaması yaparak hangisinin daha başarılı olacağı incelenecektir.

Cross Validation yapılacağı için regresyon modeli kurarken “glm()” fonksiyonunu tercih edilecektir çünkü lm() fonksiyonundan ziyade glm() fonksiyonu daha kullanışlı olacaktır.

Lineer modelimizde ki hata değerimiz;

Görselleştirdiğimizde

Grafikte yapay sinir ağları modeli ve regresyon modelinin grafiğini görülmektedir.

Aynı grafik üzerinde görmek istediğimizde,

Olarak görülmüştür.

Yazımın sonuna gelirken yapay sinir ağlarının önemini tekrar belirtmek isterim. Günümüz teknolojilerinde aklımıza gelen hemen hemen hepsinde bir şekilde yapay sinir ağları gibi makine öğrenmesi algoritmaları kullanılmaktadır. Gelecek 10 yıl içinde adını duymadığımız meslekler, statüler ve lisasta bölümler olacaktır ama veri okur yazarlığı bilmeyen kişiler geleceği planlayanlar arasında olamayacak ve zamanla biteceklerdir.

Gelecekte verinin bize fısıldadığı cümleleri anlayamayan, verinin karakterini algılayamayan kişiler ya da meslek grupları bitecek veya olduğu yerde kalacaktır. O yüzden veri okur yazarlığı konusunda kendimizi hep geliştirme çabası içinde olmalıyız.

Varsayımlarınızın sağlanması dileğiyle,

Veri ile kalın, Hoşça kalın.

 

Kaynak: U.K.Çınar,(2018), R programıyla Yapay Sinir Ağları ile Zaman Serisi Modellemesi

Kaynak: http://www.ibrahimcayiroglu.com/dokumanlar/ilerialgoritmaanalizi/ilerialgoritmaanalizi-5.hafta-yapaysiniraglari.pdf

Kaynak: https://rpubs.com/julianhatwell/annr

Kaynak: https://www.r-bloggers.com/fitting-a-neural-network-in-r-neuralnet-package/

Kaynak: https://ekblc.files.wordpress.com/2014/02/ysa.pdf

Görselin kaynağı: www.psikolojik.gen.tr ,  www.mesutpek.com

Hakkında Utku Kubilay ÇINAR

GÖZ ATMAK İSTEYEBİLİRSİNİZ

R ile Çoklu Doğrusal Regresyon(Bağlanım) Çözümlemesi

R’da Çoklu Doğrusal Regresyon(Bağlanım) Çözümlemesi

2 yorumlar

  1. Bilgilendirici olmuş.
    Elinize sağlık
    Teşekkürler

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir