Anasayfa / Büyük Veri / HDP-Sandbox içinde YARN’a Daha Fazla Kaynak Tahsis Etmek

HDP-Sandbox içinde YARN’a Daha Fazla Kaynak Tahsis Etmek

Merhabalar. Bu yazımızda Hortonworks’ün Hadoop sürümü olan HDP 2.6.4 Sandbox üzerinde YARN’a daha fazla kaynağı nasıl tahsis edeceğimizi göreceğiz. Bu yazımızın amacı Sandbox ile uygulama yaparken en fazla bir YARN uygulaması çalıştırabilecek kadar kısıtlı kaynağa (özellikle de RAM) sahip omasıdır. Örneğin Sandbox’ın varsayılan ayarlarında YARN belleği 3000 MB ayrılmış. Biz bu kısıtlı kaynak ile hemSpark hem Hive’ı aynı anda çalıştıramıyoruz. Bu yazımızda bilgisayarında yeterli RAM’i (en az 16 GB) olan okuyucular için Sandbox’a ayıracağımız RAM ve işlemci çekirdek sayısını değiştirerek YARN belleğini arttıracağız ve böylelikle Sandbox kullanırken iki uygulamayı aynı anda kullanıyor olacağız.

Virtualbox üzerinde Sandbox kapalı iken aşağıdaki değişiklikleri yapalım:

Değişiklikleri Tamam diye onaylayıp Sanbox’u başlatalım ve Ambari arayüzüne geçelim. Sanal makinenin açılması zaman alacaktır. Aşağıdaki değişiklikleri yapalım. YARN

Ayarları kaydedelim. Bir çok soru soraektır Ok veya devam et diyelim. Bir çok servisi yeniden başlatmak isteyecektir. Restart diyelim.

Zeppelin’den bir Spark uygulaması başlatalım, arkasından da HiveView2’den bir sorgu çalıştıralım. Daha sonra YARN Resource Manager arayüzünden aşağıdakine benzer bir sonuç gözlemleyelim:

Yukarıda gördüğümüz gibi artık YARN’ın belleği fazla ve biz iki uygulamayı aynı anda çalıştırabiliyoruz. Ne demişler ne kadar köfte o kadar ekmek. Hoşçakalın…

Hakkında Erkan ŞİRİN

2014'ten beri hem akademik hem de sektörde pratik anlamda büyük veri ve veri bilimi ile ilgili çalışmalar yürütmektedir. Halihazırda İmpektra Bilişim A.Ş.'de büyük veri yöneticisi olarak çalışmakta olup aynı zamanda Gazi Üniversitesi Yönetim Bilişim Sistemleri doktora öğrencisidir. Büyük veri ve veri bilimi ile ilgili birçok kurum ve şirkete eğitimler vermekte ve projeler icra etmektedir. Çalışma alanları: büyük veri platformlarının kurulum ve yönetimi, büyük veri üzerinde makine öğrenmesi, olağan dışılık tespiti, sahtecilik tespiti, veri hazırlama sürecidir.

GÖZ ATMAK İSTEYEBİLİRSİNİZ

Apache Spark ile Parquet Formatında Veri Okuma (Python)

Merhaba bu yazımızda parquet uzantılı bir dosyanın pyspark ile nasıl okunacağını göreceğiz. Bu yazıyı yazmamızın …

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir