Anasayfa / Büyük Veri / “Hortonworks HDPCA Sertifikasyonu” Yazı Dizisi Başlamıştır

“Hortonworks HDPCA Sertifikasyonu” Yazı Dizisi Başlamıştır

Hortonworks ve Cloudera açık kaynaklı Hadoop ekosistemini paket halinde getirerek kullanım ve yönetim kolaylığı sağlayan dünyanın önde gelen büyük veri şirketleridir. Hortonworks tamamen açık kaynak kullanıyor ve müşterilerinden bakım anlaşması (zorunluluk yok) haricinde herhangi bir lisans ücreti talep etmiyor. Sanırım Cloudera, Cloudera Manager ile yönetilen sunucu sayısı belli bir rakamı aştığında lisans ücreti talep ediyor. Aralarında küçük farklılıklar da olsa bu iki şirket zaten açık kaynak olan yazılımları açık kaynak olarak geliştirdiği yazılımlarla destekliyor, dağınık Hadoop ekosistemini bir paket haline getiriyor ve kullanım ve yönetimini kolaylaştırıyor. Peki bu şirketler bedava bunu niye yapıyor? Açık kaynakçıların emeğinin karşılığı uzmanı olduğu konularda verdiği hizmet ile geri döner. Burada da mantık aynı. Sağladığı faydayı kullananlara destek satıyorlar.

Ben Cloudera ve Hortonworks’ün ikisini de kullandım. Ancak konumuza Hortonworks ile devam edeceğim. Sebebini sormayın, renkler ve tasarım çok hoşuma gidiyor, filler falan 🙂 Hortonworks’ün Hadoop yeteneklerini tescilleyen bazı sertifikaları ve bunların sınavları var. Sınavlar uzaktan bağlantı ile canlı ortamda yapılıyor. Ben bu yazı dizisinde Hortonworks’ün Hadoop Cluster Yöneticileri için belirlediği HDPCA (Hortonworks Data Platform Certified Administrator) sınavının kendi sitesinde belirttiği sınav konularını (exam objectives) uygulamalı olarak yapmaya ve çalışma notlarımı sizlerle paylaşmaya gayret edeceğim. Konuların hepsi aşağıdaki listede yer alıyor. Sınavda adaylardan bunlarda 8-10 tanesini yapmasını isterler tahminimce. Ayrıca Hortonworks’ün örnek sınavı var. Ona girmek ücretsiz ancak Amazon AWS’den hesap açmanız ve sınav esnasında size lazım olan donanımı kiralamanız gerekiyor. Bunun maliyeti 30-50 dolar civarında tutuyormuş.

Aşağıdaki listedeki konuları takip edebilmeniz için kurulu veya kurulmaya hazır bir clustera sahip olmanız gerekiyor. Yayınlanan yazıların linki kırmızı renklidir. Maviler hazırlık aşamasındadır.

HDPCA Sınav Konuları
  1. Installation 
      1. Configure a local HDP repository

     

     

      1. Install ambari-server and ambari-agent

     

     

      1. Install HDP using the Ambari install wizard

     

     

      1. Add a new node to an existing cluster

     

     

      1. Decommission a node

     

     

      1. Add an HDP service to a cluster using Ambari

     

  2. Configuration 
      1. Define and deploy a rack topology script

     

     

      1. Change the configuration of a service using Ambari

     

     

      1. Configure the Capacity Scheduler

     

     

      1. Add a new node to an existing cluster

     

     

      1. Create a home directory for a user and configure permissions

     

     

      1. Configure the include and exclude DataNode files

     

  3. Troubleshooting 
      1. Restart an HDP service

     

     

      1. View an application’s log file

     

     

      1. Configure and manage alerts

     

     

      1. Troubleshoot a failed job

     

  4. High Availability 
      1. Configure NameNode HA

     

     

      1. Configure ResourceManager HA

     

     

      1. Copy data between two clusters using distcp

     

     

      1. Create a snapshot of an HDFS directory

     

     

      1. Recover a snapshot

     

     

      1. Configure HiveServer2 HA

     

  5. Security 
      1. Install and configure Knox

     

     

      1. Install and configure Ranger

     

     

      1. Configure HDFS ACLs

     

Başka bir yazıda görüşmek dileğiyle…

Hakkında admin

GÖZ ATMAK İSTEYEBİLİRSİNİZ

IntelliJ IDEA ile Apache Spark Projesini Uzak YARN Cluster Üzerinde Çalıştırmak-1/2

1. Giriş Merhabalar. Uygulama geliştirirken geliştirme(dev), test ve canlı (prod) gibi farklı farklı ortamlar kullanırız. …

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir