HDP-Sandbox içinde YARN’a Daha Fazla Kaynak Tahsis Etmek

Merhabalar. Bu yazımızda Hortonworks’ün Hadoop sürümü olan HDP 2.6.4 Sandbox üzerinde YARN’a daha fazla kaynağı nasıl tahsis edeceğimizi göreceğiz. Bu yazımızın amacı Sandbox ile uygulama yaparken en fazla bir YARN uygulaması çalıştırabilecek kadar kısıtlı kaynağa (özellikle de RAM) sahip omasıdır. Örneğin Sandbox’ın varsayılan ayarlarında YARN belleği 3000 MB ayrılmış. Biz bu kısıtlı kaynak ile hemSpark hem Hive’ı aynı anda çalıştıramıyoruz. Bu yazımızda bilgisayarında yeterli RAM’i (en az 16 GB) olan okuyucular için Sandbox’a ayıracağımız RAM ve işlemci çekirdek sayısını değiştirerek YARN belleğini arttıracağız ve böylelikle Sandbox kullanırken iki uygulamayı aynı anda kullanıyor olacağız.

Virtualbox üzerinde Sandbox kapalı iken aşağıdaki değişiklikleri yapalım:

Değişiklikleri Tamam diye onaylayıp Sanbox’u başlatalım ve Ambari arayüzüne geçelim. Sanal makinenin açılması zaman alacaktır. Aşağıdaki değişiklikleri yapalım. YARN

Ayarları kaydedelim. Bir çok soru soraektır Ok veya devam et diyelim. Bir çok servisi yeniden başlatmak isteyecektir. Restart diyelim.

Zeppelin’den bir Spark uygulaması başlatalım, arkasından da HiveView2’den bir sorgu çalıştıralım. Daha sonra YARN Resource Manager arayüzünden aşağıdakine benzer bir sonuç gözlemleyelim:

Yukarıda gördüğümüz gibi artık YARN’ın belleği fazla ve biz iki uygulamayı aynı anda çalıştırabiliyoruz. Ne demişler ne kadar köfte o kadar ekmek. Hoşçakalın…

Yazar Hakkında
Toplam 172 yazı
Erkan ŞİRİN
Erkan ŞİRİN
2014'ten beri hem akademik alanda hem de sektörde pratik anlamda büyük veri ve veri bilimi ile ilgili çalışmalar yürütmektedir. Büyük veri ve veri bilimi ile ilgili birçok kurum ve şirkete danışmanlık ve eğitimler vermekte, projeler icra etmektedir. Çalışma alanları: büyük veri platformlarının kurulum ve yönetimi, büyük veri üzerinde makine öğrenmesi, olağan dışılık ve sahtecilik tespiti, akan veri işleme ve veri hazırlama sürecidir.
Yorumlar (Yorum yapılmamış)

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

×

Bir Şeyler Ara