Anasayfa / Büyük Veri / Apache Spark DataFrame İçinden Değerlere Ulaşmak

Apache Spark DataFrame İçinden Değerlere Ulaşmak

Merhabalar. Bu yazımızda Apache Spark Dataframe içindeki tekil bir değeri basit veri türünde (Int, Double vb.) nasıl elde edeceğimizi bir örnek ile göreceğiz. Benim yaptığım çalışma esnasında kullandığım ortam bilgileri:

İşletim sistemi: Windows 10 64 bit Pro

IDE: Intellij IDEA Community Edition

Spark 2.3.1

Dil: Scala

Kütüphaneler

Log Seviyesini ERROR yapalım ki log bilgileri arasında sonuçları kaçırmayalım

Spark Session ve SparkContext oluşturalım:

Şimdi isimler ve yaşlardan oluşan basit bir dataframe oluşturalım:

Mehmet’in yaşına erişelim:

Çıktı aşağıdaki gibi olacaktır:

Yapılan işi özetleyelim: Öncelikle elde edeceğimiz değeri nokta haline getirmeliyiz. Bunu iki aşamada yapıyoruz; önce tek satıra indirgiyoruz  .where($"isim" === "Mehmet") daha sonra tek satırda nokta olarak sütunu seçiyoruz  .head().getInt(0) . Burada head() kullanmamızın sebebi driver makineye dönen sonuçlardan seçim yapabilmek içindir.

Hoşçakalın…

 

 

Hakkında Erkan ŞİRİN

Gazi Üniversitesi Yönetim Bilişim Sistemleri doktora öğrencisi. Son beş yıldır hem akademik hem de sektörde pratik anlamda büyük veri ve veri bilimi ile ilgili çalışmalar yürütür. Çalışma alanları: büyük veri sistemleri üzerinde makine öğrenmesi, olağan dışılık tespiti, sahtecilik tespiti, veri hazırlama süreci, derin öğrenme kütüphanelerinin dağıtık olarak çalıştırılması, dağıtık graf işleme çatıları ve graf veri tabanları.

GÖZ ATMAK İSTEYEBİLİRSİNİZ

Hadoop-Spark Big Data Developer Eğitimi

HADOOP VE SPARK DEVELOPER EĞİTİMİ (5 GÜN) Bu uygulamalı eğitim kursu, Hadoop ve Apache Spark …

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir