Anasayfa / Hadoop Cluster Kurulumu / BG10: Cluster Planı

BG10: Cluster Planı

Hadoop clusterında bulunacak servislerin sunuculara dağıtımına cluster planlaması diyoruz. Hangi servis hangi sunucuda çalışacak, master nodelar hangileri, slave nodelar hangileri, edge server hangisi olacak, meta data tutan ilişkisel veritabanlarını nereye kuracağız, local repository nerede olacak bunların planlamasını bu aşamada yapıyoruz. Aşağıdaki şekilde plana göz atılabilir. Şeklin anlaşılır kılmak adına ayrıntılara yer vermedik.

Biz burada basit bir cluster kuracağımız için çok önemli değil ancak canlı ortamda şirket veya kurum için yapılacak kurulumlarda şirket/kurum ihtiyaçları göz önüne alınmalıdır. Bu ihtiyaca göre sunucu, disk, işlemci ve ağ bileşenleri seçilmelidir. Örneğin beklenti hesaplama yönünde ise daha güçlü işlemci ve hızlı ağ cihazları (dağıtık hesaplamanın tabiatı gereği), veri soğuk ve seyrek erişilecek ancak hacim çok büyük ise düşük performanslı ama hacimli diskler gibi. Cluster planımıza göre makinelere ana bellek ve işlemci çekirdeği planlaması yapalım:

Benim bilgisayarımda toplam 8 çekirdek ve 32 GB ana bellek var. Ben bunun 6 çekirdeğini ve 26 GB RAM’ini cluster için ayırıyorum. Kalan 2 çekirdek ve 6 GB bellek de ana makine için olsun.

node1: NameNode – 1 çekirdek, 4 GB RAM

  • NameNode
  • Zookeper1

node2: ResourManager – 1 çekirdek 4 GB RAM

  • ResourceManager
  • Standby NameNode
  • Zookeper2

node3: Edge Node – 2 çekirdek 6 GB RAM

  • Ambari Server
  • Cluster Local repository
  • Zookeper
  • JobHistory Server
  • MySQL Database
  • Zookeper3

node4: DataNode1 – 1 çekirdek 4 GB RAM

node5: DataNode2 – 1 çekirdek 4 GB RAM

node6: DataNode3 – 1 çekirdek 4 GB RAM

Tüm makineleri kapattıktan sonra RAM ayarlamasını yapabiliriz. İşlemci zaten birer çekirdek verebilmiştik.

Bir sonraki yazımızda node3 Edge Server’ı hazırlayacağız.

Hakkında Erkan ŞİRİN

GÖZ ATMAK İSTEYEBİLİRSİNİZ

BG2: Cluster Ağ ve IP Planlaması

1. VMware Sanal Ağ Ayarları Editörü (Virtual Network Editor) Hadoop Big Data Cluster için basit …

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir