Anasayfa / Büyük Veri

Büyük Veri

Nisan, 2019

  • 21 Nisan

    Apache Spark ile Parquet Formatında Veri Okuma (Python)

    Merhaba bu yazımızda parquet uzantılı bir dosyanın pyspark ile nasıl okunacağını göreceğiz. Bu yazıyı yazmamızın sebebi pyspark ile parquet dosyası okumanın, standart dataframe API’si ile csv gibi yaygın formatları okumaktan farklılık göstermesidir. Bu çalışma esnasında kullandığım ortamlar: İşletim sistemi: Windows …

  • 21 Nisan

    Apache Spark ile Parquet Formatında Veri Yazma ve Okuma (Scala)

    Merhaba. Bu yazımızda Apache Spark ile [crayon-5cbd401b87b8b053944979-i/] uzantılı bir veri dosyasını okuyup [crayon-5cbd401b87ba0720969115-i/] uzantılı olarak diske kaydedeceğiz ve kaydettiğimiz parquet dosyasını tekrar Spark ile okuyacağız. Spark, birçok formatta veriyi okuyup yazabiliyor. Parquet, csv dosyalarına göre daha az yer kapladığı gibi okuma performansı da daha …

  • 14 Nisan

    Spark Dataframe İçindeki Kategorik Nitelikleri Otomatik Olarak Seçmek

    Merhaba. Spark dataframe ile çalışırken zaman zaman içindeki kategorik değişkenleri seçeriz. Özellikle makine öğrenmesi öncesinde veri hazırlığı aşamasında bunu mutlaka yapmalıyız. Çünkü kategorik nitelikler veri hazırlığı sürecinde stringIndexer, OneHotEncoder gibi daha farklı aşamalardan geçer. Bu yazımızda Spark dataframe içindeki nitelikleri kategorik …

  • 14 Nisan

    Apache Spark DataFrame İçinden Değerlere Ulaşmak

    Merhabalar. Bu yazımızda Apache Spark Dataframe içindeki tekil bir değeri basit veri türünde (Int, Double vb.) nasıl elde edeceğimizi bir örnek ile göreceğiz. Benim yaptığım çalışma esnasında kullandığım ortam bilgileri: İşletim sistemi: Windows 10 64 bit Pro IDE: Intellij IDEA …

  • 4 Nisan

    Hadoop-Spark Big Data Developer Eğitimi

    HADOOP VE SPARK DEVELOPER EĞİTİMİ (5 GÜN) Bu uygulamalı eğitim kursu, Hadoop ve Apache Spark 2 ile yüksek performanslı dağıtık uygulamalar geliştirmek için katılımcıların temel kavramları anlamasını ve uygulama seviyesinde yetenek kazanmalarını sağlar. Katılımcılar, Hadoop’un temel kavramlarını ve çalışma mantığını …

Mart, 2019

  • 27 Mart

    Kategorik Veri Analizi ve Shiny Web Uygulamaları – 5

    Bundan önceki yazılarımda totaliter yönetim yapısını, halkın baskıcı bir yönetim sisteminin içerisine sokuşturulması ve içeride zorla tutulması şeklinde işlemiştik. Peki halk bu sistemin içerisinde kendi isteği ile  yer alıyorsa bunun adı nedir? Bunun sorumlusu kimdir? Günümüzde daha güzel evlerde oturmak, …

Şubat, 2019

  • 27 Şubat

    Kategorik Veri Analizi ve Shiny Web Uygulamaları – 4

    Günümüzde gelişen teknolojilerle birlikte elimizdeki verileri kullanarak matematiksel modeller oluşturup, araştırılan konular hakkında tahminlemeler yapabiliyoruz. Bunu istatistik ile, yani belirli bir hata payı ile yapıyoruz. Örneğin bir bölgenin gelir seviyesinin incelendiği bir çalışmayı ele alalım ve bu çalışmada Doğrusal Regresyondan …

  • 11 Şubat

    Windows 10 Üzerine Kafka Kurmak

    Merhaba, bu yazımızda akan veri işleme ve yönetmede oldukça popüler olan Apache Kafka’nın Windows 10 üzerine kurulumu ve temel komutlarından bahsedeceğiz. Ön Gereksinimler Java kurulu olmalı Sıkıştırma programı kurulu olmalı (Örn:7-zip) ———- 1. Zookeeper Kurulumu: Bir çok Apache projesi gibi …

  • 6 Şubat

    Apache Spark Eğitimi

    Verinin baş döndürücü hızla çoğaldığı günümüzde onu en iyi şekilde kullanmak ve yeni çağın sunduğu bu fırsattan maksimum derecede faydalanmak için kullanılabilecek en iyi araçlardan birisi şüphesiz Apache Spark’tır. Büyük veri dünyasının öncü topluluğu Apache tarafından geliştirilen ve en güçlü …

Ocak, 2019

  • 27 Ocak

    Kategorik Veri Analizi ve Shiny Web Uygulamaları – 3

    İnsanlık, Büyük Biraderini Arıyor… George Orwell, 1984 romanında totaliter bir yönetim yapısından bahseder. Bu yapı ile insanların tüm aktiviteleri devlet tarafından yönetilir, denetlenir ve hiçbir şekilde özgürlük tanımına yer verilmez. Düşünce Polisi insanların yaşamlarını, özel hayatlarını hatta düşüncelerine kadar takip …