HDP-Sandbox içinde YARN’a Daha Fazla Kaynak Tahsis Etmek

Erkan ŞİRİN 27 Nisan 2019 Büyük Veri, Hadoop 0 780 279 kelime - 2 dakika32

---

Bu yazıya puan ver

(No Ratings Yet)

Loading...

---

Merhabalar. Bu yazımızda Hortonworks’ün Hadoop sürümü olan HDP 2.6.4 Sandbox üzerinde YARN’a daha fazla kaynağı nasıl tahsis edeceğimizi göreceğiz. Bu yazımızın amacı Sandbox ile uygulama yaparken en fazla bir YARN uygulaması çalıştırabilecek kadar kısıtlı kaynağa (özellikle de RAM) sahip omasıdır. Örneğin Sandbox’ın varsayılan ayarlarında YARN belleği 3000 MB ayrılmış. Biz bu kısıtlı kaynak ile hemSpark hem Hive’ı aynı anda çalıştıramıyoruz. Bu yazımızda bilgisayarında yeterli RAM’i (en az 16 GB) olan okuyucular için Sandbox’a ayıracağımız RAM ve işlemci çekirdek sayısını değiştirerek YARN belleğini arttıracağız ve böylelikle Sandbox kullanırken iki uygulamayı aynı anda kullanıyor olacağız.

Virtualbox üzerinde Sandbox kapalı iken aşağıdaki değişiklikleri yapalım:

Değişiklikleri Tamam diye onaylayıp Sanbox’u başlatalım ve Ambari arayüzüne geçelim. Sanal makinenin açılması zaman alacaktır. Aşağıdaki değişiklikleri yapalım. YARN

Ayarları kaydedelim. Bir çok soru soraektır Ok veya devam et diyelim. Bir çok servisi yeniden başlatmak isteyecektir. Restart diyelim.

Zeppelin’den bir Spark uygulaması başlatalım, arkasından da HiveView2’den bir sorgu çalıştıralım. Daha sonra YARN Resource Manager arayüzünden aşağıdakine benzer bir sonuç gözlemleyelim:

Yukarıda gördüğümüz gibi artık YARN’ın belleği fazla ve biz iki uygulamayı aynı anda çalıştırabiliyoruz. Ne demişler ne kadar köfte o kadar ekmek. Hoşçakalın…