Anasayfa / Hadoop Cluster Kurulumu / BG7: Baz Şablon Sunucu Konfigürasyonu

BG7: Baz Şablon Sunucu Konfigürasyonu

Baz şablon sunucumuza (basecentos7min) gerekli yazılımları yükledik. Şimde bazı ayarları yapılandıracağız.

1. Ağ ayarlarının kontrolü

İşletim sistemi kurulumu esnasında ağ ayarlarını yapmıştık. Ağ ayarları deyince gözümüz korkmasın basit bir kaç değerden ibaret. ip, gateway, dns server, subnetmask ve hostname.

2. Hosts dosyasını düzenleme

Her bilgisayar aslında kendi içinde küçük bir dosyada isim çözümlemesi tutar. Linux makinelerde bu dosya /etc/hosts dizinindedir. Biz önceki yazımızda cluter ip planlamasını yapmış ve sunucularımıza node1, node2…,node6 şeklinde isimler öngörmüştük. Şuan üzerinde çalıştığımız sunucu kopyalanacak olan baz sunucu olduğuna göre hosts dosyasına şimdiden tüm cluster ip ve hostname’lerini yazalım sonradan tek tek uğraşmayalım. Bunun için az önce yüklediğimiz nano editörü kullanacağım. Gıcık vi’den kurtuldum 🙂

aşağıdaki listeyi nano editöre giriyotuz. Girdikten sonra cat komutuyla kontrol ediyoruz.

3. Network Yapılandırma Dosyası

Network yapılandırma dosyasını nano metin editör ile açarak aşağıdaki değişiklikleri yapıyoruz.

Son hali yukarıda görüldüğü gibi olacak. HOSTNAME için domain adını kullanmayı unutmayın.

4. Ağ bağdaştırıcısı (Ethernet Kartı) Ayarlarının kontrolü

İşletim sistemi kurarken ağ kartıyle ilgili bazı ayarlamalar yapmıştık. Burada onu tekrar kontrol edelim. Gerekirse düzeltmeler yapalım.

Network servisini yeniden başlatalım.

İnternete hala çıkabiliyor muyuz? Google’a ping atarak “Google. Orada mısın?” diyelim.

evet çıkıyoruz sorun yok.

5. SELinux’u kapatma

SELinux (Securrity-Enhanced Linux), erişim kontrol denetimi sağlıyor. Biz cluster’ımızı Ambari ile kurmayı planladık. Kurulum esnasında Ambari’nin yarattığı servis hesapları ile ilgili erişim sorunları çıkmaması ve kurulumun aksamaması için SELinux’u ben kalıcı olarak kapatacağım. Ancak canlı ortamda bunu yapmamak gerekir. SELinux’u kalıcı olarak kapatmak için /etc/selinux/config dosyası içindeki SELINUX özelliğini disabled yapacağız.

Önce nano editörü ile doyanın içine girip değeri değiştirdim sonra da cat ile kontrol ettim, SELINUX=disabled olmuş.

6. Firewalld/ip tables’ı kapatma

Yine kurulum esnasında Ambari bazı portları kullanmak isteyecektir. Linux fireawall/iptables’dan bunları tek tek kapatmak yerine ben tamamen kapatıyorum.

7. Lokal Dili İngilizce Yapma

Her ne kadar işletim sistemi kurulumu esnasında dili Türkçe ayarlamış olsak da hata ve ikazları daha iyi anlamk ve aynı hata ve ikazlarla ilgili çözümlere internette daha kolay ulaşmak için dili tekrar İngilizce yapıyoruz.

8. ipv6 Kapatma

Aşağıdaki komutları giriyoruz.

Ayarın kalıcı olması için /etc/sysctl.conf içine girip aşağıdaki satırları dosyanın son satırına ekliyoruz.

Tekrar başladıktan sonra kontrol yapalım:

Sonuçta 1 görmeliyiz. Bu ipv6’nın kapandığı anlamına gelir.

9. Transparent Huge Pages (THP) Compaction’ı Kapatma

Cloudera ve Hortonworks uzmanlarına göre THP sıkılaştırması Hadoop performansını kötüleştiriyor. Bu sebeple birleştirmeyi (dfragmentation) kapatmak gerekiyor. Önce THP ne durumda görelim:

Açık. Temelli kapatmak için aşağıdaki işlemleri yapıyoruz.

Systemd deamon u çalıştırıyoruz ve oluşturduğumuz scriptleri (disable-thp.service ve disable-thp.service) çalıştırıyoruz.

Sunucuyu tekrar başlattıktan sonra tekrar kontrol edelim kapanmışlar mı?

Evet gördüğümüz gibi ikisi de never oldu.


Hakkında Erkan ŞİRİN

GÖZ ATMAK İSTEYEBİLİRSİNİZ

BG2: Cluster Ağ ve IP Planlaması

1. VMware Sanal Ağ Ayarları Editörü (Virtual Network Editor) Hadoop Big Data Cluster için basit …

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir