BG10: Hadoop Cluster Planı

Hadoop clusterında bulunacak servislerin sunuculara dağıtımına cluster planlaması diyoruz. Hangi servis hangi sunucuda çalışacak, master nodelar hangileri, slave nodelar hangileri, edge server hangisi olacak, meta data tutan ilişkisel veritabanlarını nereye kuracağız, local repository nerede olacak bunların planlamasını bu aşamada yapıyoruz. Aşağıdaki şekilde plana göz atılabilir. Şeklin anlaşılır kılmak adına ayrıntılara yer vermedik.

Biz burada basit bir cluster kuracağımız için çok önemli değil ancak canlı ortamda şirket veya kurum için yapılacak kurulumlarda şirket/kurum ihtiyaçları göz önüne alınmalıdır. Bu ihtiyaca göre sunucu, disk, işlemci ve ağ bileşenleri seçilmelidir. Örneğin beklenti hesaplama yönünde ise daha güçlü işlemci ve hızlı ağ cihazları (dağıtık hesaplamanın tabiatı gereği), veri soğuk ve seyrek erişilecek ancak hacim çok büyük ise düşük performanslı ama hacimli diskler gibi. Cluster planımıza göre makinelere ana bellek ve işlemci çekirdeği planlaması yapalım:

Benim bilgisayarımda toplam 8 çekirdek ve 32 GB ana bellek var. Ben bunun 6 çekirdeğini ve 26 GB RAM’ini cluster için ayırıyorum. Kalan 2 çekirdek ve 6 GB bellek de ana makine için olsun.

node1: NameNode – 1 çekirdek, 4 GB RAM

  • NameNode
  • Zookeper1

node2: ResourManager – 1 çekirdek 4 GB RAM

  • ResourceManager
  • Standby NameNode
  • Zookeper2

node3: Edge Node – 2 çekirdek 6 GB RAM

  • Ambari Server
  • Cluster Local repository
  • Zookeper
  • JobHistory Server
  • MySQL Database
  • Zookeper3

node4: DataNode1 – 1 çekirdek 4 GB RAM

node5: DataNode2 – 1 çekirdek 4 GB RAM

node6: DataNode3 – 1 çekirdek 4 GB RAM

Tüm makineleri kapattıktan sonra RAM ayarlamasını yapabiliriz. İşlemci zaten birer çekirdek verebilmiştik.

Bir sonraki yazımızda node3 Edge Server’ı hazırlayacağız.

Yazar Hakkında
Toplam 174 yazı
Erkan ŞİRİN
Erkan ŞİRİN
10 yılı aşkın süredir yurtiçi ve yurtdışında sektörde büyük veri mühendisliği, platform yönetimi ve makine öğrenmesi ile ilgili çalışmalar yürütmekte ve aynı zamanda birçok kurum ve şirkete danışmanlık ve eğitimler vermektedir. Çalışma alanları: Data ve MLOps platformları, gerçek zamanlı veri işleme, değişen veriyi yakalama (CDC) ve Lakehouse.
Yorumlar (Yorum yapılmamış)

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

×

Bir Şeyler Ara