Anasayfa / Büyük Veri / Big Data Eğitimi

Big Data Eğitimi

Büyük veri dünyasının yıldızı Apache Hadoop’u herkesin anlayabileceği basit ve sade bir yaklaşımla anlatıyoruz. Kendi kendinize öğrenirken çok zorlandığınız ve zaman kaybettiğiniz noktalarda sizlerin daha hızlı ve kolay öğrenmesi için derslerde bol bol benzetme, şekil ve animasyon kullanılmaktadır. Benzetmelerin amacı olayın altında yatan mantığı kavramak ve konunun anlaşılmasını kolaylaştırmaktır. Bazı konuların altında yatan temel mantığı iyi bir eğitmen ile kavramak; küçük küçük şeyleri öğrenmek için günler ve haftalar harcamak zorunda kalmanızı engeller. Bu noktada kursun size sağlayacağı en büyük katkı hızdır. Aynı şeyleri mutlaka kendiniz farklı kaynaklardan araştırarak öğrenirsiniz ancak bu kadar hızlı ilerlemeniz mümkün olmaz. İkinci olarak kurs sonunda kendi kendinize öğrenme olgunluğuna erişeceksiniz. Toparlamak gerekirse; bu kurstan alacağınız en büyük iki kazanım; “hız” ve “kendi ayaklarının üzerinde durabilme” olacaktır. Ayrıca, bu alandaki kaynakların çoğu İngilizce olduğundan kendi ana dilinizde eğitim alma avantajını yakalayacaksınız.

Bu kurs özellikle büyük veri konusunda ilerlemek isteyenler için güzel bir başlangıç noktası. Kursu bitirdikten sonra kendi kendinize öğrenme ve kendinizi daha ileri seviyelere taşıma sezgilerini kazanacağınızı umuyoruz. Birçok şeyde olduğu gibi büyük veri konusunda da zor olan aşama ilk öğrenme aşamasıdır. Daha yerli bir tabirle “olaya girme” aşamasıdır. Olaya girdikten sonra emin olun kendi kendinize ilerlemeye başlayacaksınız. Burada öğrendiklerinizin çeşitli versiyonlarını kendiniz deneyecek, hata alacak, çözmeye çalışacak ve farkında olmadan yeteneklerinizi geliştireceksiniz.

Bazı konulara özellikle fazla yer vermedik. Bunların başında da Apache Pig ve MapReduce geliyor. Spark’ın çıkmasıyla beraber MapReduce artık müzelik olma yolunda ilerliyor. Üstelik, Apache Tez’in ortaya çıkmasıyla beraber artık Hive ve Pig de MapReduce kullanmak zorunluluğundan kurtuldu. MapReduce kullanan geriye Sqoop gibi daha az ve alternatifleri olan küçük bileşenler kalıyor. Ancak, MapReduce üzerinde çalışmasına rağmen Sqoop hala çok güzel bir araç.

Kursun hedef kitlesi başlangıç ve orta seviyeli kursiyerlerdir. Yeni başlayanların öğreneceği şeyler daha çok olamasına rağmen muhakkak orta ve ileri seviye kursiyerlerin de içinden öğreneceği bir çok şey çıkacaktır.

Kurs programımız aşağıdadır.

Kursun indirimli Udemy kupon linki: https://www.udemy.com/adan-zye-uygulamal-hadoop-buyuk-veri-egitimi/?couponCode=VBO_00

Daha fazla bilgi için: veribilimiokulu@gmail.com

1. Tanışma ve büyük veri (big data) ortamının kurulması

2. Örnek gösterim: Bir veri setini tablo formatında Hadoop’a yüklemek
2.1. Açık kaynaklı adult veri setini indirme
2.2. Hive web arayüzü kullanılarak veri setini tablo olarak kaydetme
2.3. Kaydedilen tablo üzerinde basit sorgulamalar yapma

3. Büyük veri teorisi
3.1. Büyük veri ve ortaya çıkış sebepleri
3.2. Büyük veri kaynakları
3.3. Büyük veri ile başa çıkmanın zorlukları
3.4. Büyük veri kullanım alanları
3.5. Büyük verinin karakteristikleri
3.6. Veri artış tahmini ve kritik veri trendi
3.7. Büyük veri işlemede kullanılan donanımları anlama
3.8. Bir çok bilgisayarı birlikte kullanmanın zorlukları
3.9. Büyük veriyi doğuran sebepler ve onu işlemeyi kolaylaştıran gelişmeler
3.10.Büyük veri tanımı
3.11. Büyük veri ve büyük veri yeteneklerine sahip olmanın önemi

4. Hadoop genel tanıtımı
4.1. Hadoop temel özellikleri
4.2. Hadoop ve klasik sistem mimarisi karşılaştırma
4.3. Hadoop’un hataya karşı dayanıklılığı (fault tolerance) nasıl oluyor?
4.4. Hadoop nasıl dağıtık işleme yapar?
4.5. Hadoop ölçekleme (scaling)
4.6. Hadoop Ekosistemini oluşturan bileşenlerin özet tanıtımı

5. Hadoop Distributed File System (HDFS) Teorisi
5.1. HDFS nedir? HDFS öne çıkan özellikler
5.2. HDFS öne çıkan özellikler
5.3. Mekanik disk ve HDFS blokları
5.4. HDFS nasıl çalışır animasyon
5.5. NameNode ve DataNode kavramları
5.6. HDFS’den veri okuma animasyon
5.7. HDFS’e veri yazma
5.8. HDFS hatalara karşı nasıl ayakta kalır? (Fault tolerance)
5.9. HDFS Federation nedir?
5.10. HDFS High Availability nedir?
5.11. HDFS’e hangi yöntemlerle erişiriz?

6. HDFS Uygulaması
6.1. Temel linux komutları: dizin değiştirme, bulunduğu dizini yazdırma, kullanıcıları listeleme
6.2. Home dizinleri tanıma: Linux home dizini ve hdfs home dizini karşılaştırma
6.3. Linux ve Hadoop’da superuser kavramı
6.4. Ambari FilesView arayüzünden kişisel bilgisayardaki bir veriyi Hadoop’a yükleme
6.5. Linux ve Hadoop dosya/dizin erişim yetkilerini düzenleme, dosya sahipliğini değiştirme
6.6. Hadoop hdfs’ten bir dosyayı komut ile silme
6.7.Hadoop hdfs komutları ile linux dosya sisteminden hdfs’e veri aktarma

7. Apache YARN
7.1. YARN nedir, ne işe yarar?
7.2. Hadoop-1 ve Hadoop-2, YARN Hadoop’a neler kazandırdı?
7.3. YARN üzerinde çalışabilen çatılar (Frameworks)
7.4. ResurceManageri NodeManager ve ApplicationMaster nedir?
7.5. Animasyon ile bir uygulamanın örnek YARN yolculuğu gösterimi
7.6. Capasity Scheduler ile kaynak tahsisi nasıl yapılır?
7.7. YARN Kuyruk mekanizması nasıl çalışır? Örnek bir YARN kuyruğu
7.8. Kullanıcı ve gruplar YARN kuyrupunda nasıl sıraya girer?
7.9. Kim ne kadar, ne zaman kaynak alabilir?

8. YARN Uygulama

9. MapReduce nedir?
9.1. Kuruyemiş sayma örneği ile teorinin mantığının kavranması
10. Apache Hive ve Hive uygulamaları
10.1. Hive’a komut satırından erişim
10.2. Ambari HiveView ile Hive kullanımı
10.3. Mysql veritabanına bağlanıp Hive metadata şemasını inceleme
10.4. Hive external table yaratma
10.5. Örnek HiveQL sorguları

11. Apache Tez teorik anlatım

12. Presto ile Büyük Veri Sorgulamak
12.1. Presto Nedir?
12.2. Öne çıkan özellikleri
12.3. Presto kullanan firmalar
12.4. Presto mimarisi
12.5. Presto bileşenleri
12.6. Bir presto sorgusu nasıl çalışır?
12.7. Hadoop cluster üzerinde Presto

13. Apache Zeppelin

14. Apache Spark Giriş

15. Spark Structured API Teori ve Uygulaması

15. Spark Structured API Teori ve Uygulaması

16. Spark Structured API PySpark

17. Spark Low Level(RDD) API Teori ve Uygulaması

18. Spark ile Makine Öğrenmesi Giriş

19. Spark ile Makine Öğrenmesi Sınıflandırma Uygulaması

20. Apache Sqoop Teori ve Uygulaması
20.1. Sqoop ile Mysql’den Hadoop HDFS’e veri aktarımı
20.2. Sqoop ile Hadoop HDFS’den Mysql veri tabanına veri çıkarılması

21. Kafka Teorisi

22. Kafka Uygulaması

23. Apache NiFi Kurulum, Teori ve Uygulaması

24. Hadoop Büyük Veri Cluster Yönetimi ve Güvenliği
24.1. Çok sunuculu bir cluster üzerinde gezinti
24.2. Hadoop Güvenlik Giriş
24.3. Apache Ranger ile Hive Erişim Yetkileri Düzenleme
24.4. Apache Ranger ile Hive Erişim Yetkilerini Düzenleme (Sütun Bazlı)

25. Windows Üzerinde Cluster için Kod Geliştirme, Kod Kullanma
25.1. Windows 10 Java8 Kurulumu
25.2. Windows 10 Git Giriş ve Kurulum
25.3. Windows 10 Apache Maven Kurulumu
25.4. Windows 10 Spark Kurulum
25.5. Windows 10 IntelliJ IDEA Kurulum
25.6. IntelliJ IDEA ile Basit Bir Spark Uygulaması

26. Gerçek Zamanlı/Akan Veri İşleme (Streaming) Giriş
26.1. Apache Storm Giriş

27. Büyük Veri Tabanları
27.1. CAP Teoremi
27.2. Apache HBase Teorisi
27.3. Apache HBase Uygulama

Hakkında Erkan ŞİRİN

GÖZ ATMAK İSTEYEBİLİRSİNİZ

Ekonometri Nedir?

1926 yılında “ekonomik ölçüm” anlamına gelen “ekonometri” kavramı ilk kez iktisatçı Frisch tarafından kullanılmıştır. Bu …

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir