HDP-Sandbox içinde YARN’a Daha Fazla Kaynak Tahsis Etmek

Merhabalar. Bu yazımızda Hortonworks’ün Hadoop sürümü olan HDP 2.6.4 Sandbox üzerinde YARN’a daha fazla kaynağı nasıl tahsis edeceğimizi göreceğiz. Bu yazımızın amacı Sandbox ile uygulama yaparken en fazla bir YARN uygulaması çalıştırabilecek kadar kısıtlı kaynağa (özellikle de RAM) sahip omasıdır. Örneğin Sandbox’ın varsayılan ayarlarında YARN belleği 3000 MB ayrılmış. Biz bu kısıtlı kaynak ile hemSpark hem Hive’ı aynı anda çalıştıramıyoruz. Bu yazımızda bilgisayarında yeterli RAM’i (en az 16 GB) olan okuyucular için Sandbox’a ayıracağımız RAM ve işlemci çekirdek sayısını değiştirerek YARN belleğini arttıracağız ve böylelikle Sandbox kullanırken iki uygulamayı aynı anda kullanıyor olacağız.

Virtualbox üzerinde Sandbox kapalı iken aşağıdaki değişiklikleri yapalım:

Değişiklikleri Tamam diye onaylayıp Sanbox’u başlatalım ve Ambari arayüzüne geçelim. Sanal makinenin açılması zaman alacaktır. Aşağıdaki değişiklikleri yapalım. YARN

Ayarları kaydedelim. Bir çok soru soraektır Ok veya devam et diyelim. Bir çok servisi yeniden başlatmak isteyecektir. Restart diyelim.

Zeppelin’den bir Spark uygulaması başlatalım, arkasından da HiveView2’den bir sorgu çalıştıralım. Daha sonra YARN Resource Manager arayüzünden aşağıdakine benzer bir sonuç gözlemleyelim:

Yukarıda gördüğümüz gibi artık YARN’ın belleği fazla ve biz iki uygulamayı aynı anda çalıştırabiliyoruz. Ne demişler ne kadar köfte o kadar ekmek. Hoşçakalın…

Yazar Hakkında
Toplam 174 yazı
Erkan ŞİRİN
Erkan ŞİRİN
10 yılı aşkın süredir yurtiçi ve yurtdışında sektörde büyük veri mühendisliği, platform yönetimi ve makine öğrenmesi ile ilgili çalışmalar yürütmekte ve aynı zamanda birçok kurum ve şirkete danışmanlık ve eğitimler vermektedir. Çalışma alanları: Data ve MLOps platformları, gerçek zamanlı veri işleme, değişen veriyi yakalama (CDC) ve Lakehouse.
Yorumlar (Yorum yapılmamış)

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

×

Bir Şeyler Ara