Anasayfa / Hadoop Cluster Kurulumu / BG11: Edge Server Hazırlama (httpd ve pssh)

BG11: Edge Server Hazırlama (httpd ve pssh)

Şimdiye kadar cluster planımızı yaptık, birbiriyle haberleşen 6 sunucu hazırladık. Cluster planımızda node3’ü edge server olarak belirlemiştik. Bu yazımızda edge serverı clusterı kurmaya yönelik olarakApache httpd servisini ve paralel ssh (pssh) kurulumu yapacağız.

1. Paralel ssh Kurulumu ve Kullanımı

Cluster kurulumunda veya yönetiminde sunucularımıza birçok işlem yapıyoruz. Her sunucuya tek tek bağlanıp bu işlemleri yapmak çok yorucu olabilir. Düşünsenize canlı ortamda yüzlerce sunucyu yönetiyorsunuz. Paralel ssh bu konuda biz cluster yöneticilerine büyük kolaylık sağlıyor. node3 sonucusundayız, epel-release yüklüyoruz.

Ardından pssh yükleyeceğiz.

pssh kullanım formatı özetle şu şekilde pssh -h "komutun çalışacağı uzak sunucular" -i "komutun kendisi" komutun çalışacağı uzak sunucuları bir liste yapalım ve /root dizinine kaydedelim. Ben ismini cluster-hosts olarak veriyorum. nano editörle dosya ismini verip boş dosyanın içine sunucu isimlerini uzun isimeriyle yazıyorum.

Şimdi basit bir deneme yapalım. Tüm sunuculara bağlanıp isimlerini söylemelerini isteyelim:
Ancak aşağıdaki hatayı aldık.
Bu hatayı gidermek için tüm sunucuları StrictHostKeyChecking=no yapıyorum. Her seferinde bağlanıp node3’e geri döndüm.
Şimdi pssh komutumuzu tekrar deneyelim.
Herşeye rağmen aynı hata devam ederse node3 sunucusundan /etc/hosts dosyasında yazan sunucuların ip uzun adı ve kısa adlarıyla teker teker ssh bağlantısı kurun.
soracaktır, yes deyin.
Daha sonrasında pssh‘ın sorunsuz çalıştığını göreceksiniz.

2. pscp.pssh ile Paralel Kopyalama

Tüm sunuculara aynı anda komut yollamanın yanında tüm sunuculara aynı anda dosya kopyalama imkanına da sahibiz. Bunu pscp.pssh komutu ile yapıyoruz. İlk başta biraz zor gelebilir, çünkü neyi nereden kopyalıyoruz biraz karışık gibi. Aşağıdaki şeklin bu karışıklığı gidereceğini umuyorum.

Hemen basit bir örnek yapalım. Bu örnekte node3 /root dizininde basit bir deneme.txt dosyası oluşturuyoruz. Ben içine bu “dosya pscp komutunu denemek için oluşturuldu” yazdım.

pssh kullanarak içini okuyalım.

Evet. pssh ve pscp.ssh‘ın çalıştığını kontrol ettik. Son olarak deneme.txt dosyasını kaldıralım.

3. HTTP Hizmeti için httpd Kurulumu

HTTP servisini bu sunucumuzu clusterın yerel repository’si olarak kullanacağımız için kuruyoruz. Önce telneti kuralım.

HTTP için httpd’yi kuruyoruz ve sunucu açıldığında başlaması için bir komut daha veriyoruz.

/var/www/ web sunucunun kök dizini. Biz arkasına hemen sunucumuzun uzun adını dizin olarak ekleyeceğiz.

node3 sunucusunun (mevcut sunucu) 80 portuna bağlanmayı deneyeceğiz.

Bağlandık.

/var/www/ kök dizinine herkesin okumasına izin verecek şekilde yetkilendirme yapalım:

/etc/httpd/conf/httpd.conf dosyasının içine nano editörü ile giriyorum. Önce ServerName’i değiştiriyor ve önündeki # işaretini kaldırıyorum. Daha sonra sayfanın en altına gidiyorum ve  VirtualHost ile başlayan satırları ekliyorum.

httpd servisimizi yeniden başlatalım:

Tarayıcımızı (örn.: Chrome) açıp http://node3.datalonga.com/ adresini girelim.Karşımıza aşağıdaki gibi bir sayfa çıkacaktır.

Tebrikler! Dünyanın yarısı tarafından kullanılan Apache web sunucusunu kurmuş bulunuyorsunuz.


Hakkında Erkan ŞİRİN

GÖZ ATMAK İSTEYEBİLİRSİNİZ

BG2: Cluster Ağ ve IP Planlaması

1. VMware Sanal Ağ Ayarları Editörü (Virtual Network Editor) Hadoop Big Data Cluster için basit …

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir