Anasayfa / Büyük Veri / Hadoop Cluster Kurulumu / BG12: Local Repository Kurulumu

BG12: Local Repository Kurulumu

1. Giriş

Lokal respository kurum ve şirketler tarafından sıklıkla kullanılır. Lokal repository sayesinde kullanıcı bilgisayarları veya sunucular genel internetten karşıladığı paket yükleme, güncelleme vb. işlemleri kurum/şirket lokal repositorysinden karşılar. Böylelikle yüzlerce, binlerce bilgisayarın internetten tek tek yapacağı işi, bir sunucu bir kere yapar ve geniş alan ağ trafiği azaltılmış olur. Lokal repository kullanımına zorunlu hale getiren sebepler de olabilir. Örneği güvenlik politikaları sebebiyle bazı şirket veya kurumlar bilgisayar ve sunucularının genel ağ (internet) ile bağlantısını tamamen kısıtlayabilir. Bu durumda, Hadoop cluster için gerekli dosyalar genel ağdan alınır, harici harddisk veya başka medyalarla lokal repository sunucusuna taşınır.

Aslında bu yazıda yapacaklarımızı yapmadan da Hadoop kurabiliriz. Ancak biz Apache’nin Hadoop Cluster Yönetim ve İzleme aracı olan Ambari ile Hadoop kurmak istiyoruz. Eğer tercihimizi Ambari ile kurulumdan yana yapmışsak internet bağlantı durumuna göre kurulumun üç yöntemi var:

  1. İnternet bağlantısı var: Bu durumda herhangi bir repository kurmaya gerek yok. Ambari sunucuda kurulum esnasında Hortonworks’ün public repository adreslerini belirtiyoruz.
  2. İnternet bağlantısı sınırlı: Bu durumda lokal repository kuruyoruz. Kurulum dosyalarını internet bağlantı kısıtlaması olmayan bir yerden indirip lokal repository’e taşıyoruz. Ancak repo dosyalarını (küçük boyutlu repository konfigürasyon dosyaları) Ambari Server’da konfigüre ettikten sonra clusterdaki diğer sunucularla senkronizesini  sınırlı internet bağlantısını kullanarak gerçekleştiriyoruz.
  3. İnternet bağlantısı hiç yok: Bu durumda yine lokal repository kuruyor ve kurulum dosyalarını başka yerden indirip elle buraya taşıyoruz. Ancak hiç internet bağlantımız olmadığı için küçük repo dosyalarını Ambari Server’da konfigüre ettikten sonra cluster da bulunan diğer sunuculara elle veya pscp.pssh ile kopyalayıp ayarlıyoruz.

Ambari, HDP ve HDP-UTILS lokal repo kurulumu şu adımlardan oluşacak:

  • Kurulum dosyalarını indir
  • Repo konfigürasyon dosyalarını indir ve düzenle
  • Repo dosyalarını tüm cluster sunucularına dağıt

Bütün kurulum dosyalarını indirmek için /var/www/node3.datalonga.com dizininde downloadedrepos klasörü oluşturuyoruz. Tüm tar.gz uzantılı dosyaları buraya indirdireceğiz. Açacağımız dizinleri oluşturduktan sonra tar.gz dosyalarını buralara açacağız.

 2. Ambari Kurulum Dosyalarını İndirme

/var/www/node3.datalonga.com/downloadedrepos dizininde wget ile ambari kurulum dosyalarını indiriyoruz. Ambari kurulum dosyaları (tarball) bu adreste bulabiliriz. Google’dan Ambari repositories diye arattığınızda da karşınıza bu adres çıkacaktır. Ben aşağıdaki şekilde repository listesinin daha anlaşılır olması için biraz açıklamalarda bulundum.


Yukarıdaki şekilden Ambari tarball dosyalarını indirelim:

[root@node3 ~]# cd /var/www/node3.datalonga.com/downloadedrepos/
[root@node3 downloadedrepos]# wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.2.0/ambari-2.5.2.0-centos7.tar.gz
--2017-10-01 07:09:25--  http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.2.0/ambari-2.5.2.0-centos7.tar.gz
Resolving public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)... 52.85.183.44, 52.85.183.33, 52.85.183.73, ...
Connecting to public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)|52.85.183.44|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1789191682 (1.7G) [application/x-tar]
Saving to: ‘ambari-2.5.2.0-centos7.tar.gz’

 5% [==>                                                              ] 91,877,442  2.80MB/s  eta 10m 7s

İndirme tamalandığına dair aşağıdaki bilgileri görüyoruz.

100%[==============================================================>] 1,789,191,682 2.78MB/s   in 10m 13s

2017-10-01 07:19:39 (2.78 MB/s) - ‘ambari-2.5.2.0-centos7.tar.gz’ saved [1789191682/1789191682]

İndirdiğimiz ambari-2.5.2.0-centos7.tar.gz uzantılı dosyasını /var/www/node3.datalonga.com/Ambari-2.5.2.0/centos7 içine açıp içinde neler var bakalım.

[root@node3 downloadedrepos]# cd ..
[root@node3 node3.datalonga.com]# mkdir -p Ambari-2.5.2.0/centos7
[root@node3 node3.datalonga.com]# cd Ambari-2.5.2.0/centos7
[root@node3 centos7]# tar xzf /var/www/node3.datalonga.com/downloadedrepos/ambari-2.5.2.0-centos7.tar.gz

Yeni yarattığımız ~/Ambari-2.5.2.0/centos7 dizini içinde dosyalar açılırken tekrar ambari/centos7/<dosyalar> Bu sebeple açılan yerdeki dosyaları yeni oluşturduğumuz dizine çıkarıp boşalanı silmeliyiz.

[root@node3 centos7]# mv ambari/centos7/* .
[root@node3 centos7]# rm -r ambari
rm: descend into directory ‘ambari’? y
rm: remove directory ‘ambari/centos7’? y
rm: remove directory ‘ambari’? y

Nihayetinde Ambari için dizinimiz /var/www/node3.datalonga.com/Ambari-2.5.2.0/centos7 web adresimiz ise http://node3.datalonga.com/Ambari-2.5.2.0/centos7 oldu.

3. HDP Dosyalarını İndirme

Ambari dosyalarını /var/www/node3.datalonga.com/downloadedrepos kök dizinine indirmiştik. HDP ve HDP-UTILS dosyalarını da yine aynı yere indiriyoruz.
HDP dosyaları için bu adrese gitmemiz veya Google’dan Hortonworks HDP repository diye aratmamız gerekecek. Adrese gittiğimizde karşımıza aşağıda bir parçası görülen geniş tablo çıkacak. Bu tabloda ben gerekli açıklamaları yaptım.


downloadedrepos dizinine geçiyoruz ve wget ile HDP tarball indiriyoruz.

[root@node3 downloadedrepos]# wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.2.0/HDP-2.6.2.0-centos7-rpm.tar.gz
--2017-10-01 07:36:43--  http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.2.0/HDP-2.6.2.0-centos7-rpm.tar.gz
Resolving public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)... 52.85.183.104, 52.85.183.73, 52.85.183.69, ...
Connecting to public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)|52.85.183.104|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 6902787772 (6.4G) [application/x-tar]
Saving to: ‘HDP-2.6.2.0-centos7-rpm.tar.gz’

13% [=======>                                                         ] 919,270,670 2.78MB/s  eta 34m 27s

İndirme tamamlandığı zaman aşağıdaki bilgilendirmeyi göreceğiz.

100%[==============================================================>] 6,902,787,772 2.78MB/s   in 39m 38s
2017-10-01 08:16:22 (2.77 MB/s) - ‘HDP-2.6.2.0-centos7-rpm.tar.gz’ saved [6902787772/6902787772]

Evet 6 GB’dan daha fazla bir veri indirmiş bulunuyoruz. Eğer bu dosyaları Ambari kurulumu esnasında Hortonworks’ün public repository’sinden indirmiş olsaydık 6 küsür GB verinin inmesini kurulum esnasında bekleyecektik.

Şimdi hdp dizinini listeleyelim.

[root@node3 downloadedrepos]# ls -l
total 6741004
-rw-r--r-- 1 root root 6902787772 Aug 30 23:38 HDP-2.6.2.0-centos7-rpm.tar.gz

HDP-2.6.2.0-centos7-rpm.tar.gz dosyasını gördük. Şimdi bunu açacağımız dizini (/var/www/node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0) oluşturalım ve açalım ve açtıktan sonra tekrar listeleyelim.

[root@node3 downloadedrepos]# cd ..
[root@node3 node3.datalonga.com]# mkdir -p /hdp/HDP/centos7/2.x/updates/2.6.2.0
[root@node3 downloadedrepos]# tar xzf HDP-2.6.2.0-centos7-rpm.tar.gz /hdp/HDP/centos7/2.x/updates/2.6.2.0

HDP/centos7 adında bir klasör içine çıkaracaktır. Bu klasörden kurtarın. Daha sonraki dizin içi görünümü:

[root@node3 downloadedrepos]# cd ..
[root@node3 node3.datalonga.com]# cd hdp/HDP/centos7/2.x/updates/2.6.2.0
[root@node3 2.6.2.0]# mv HDP/centos7/* hdp/HDP/centos7/2.x/updates/2.6.2.0
[root@node3 2.6.2.0]# rm -r HDP
[root@node3 2.6.2.0]# ls -l
total 100
drwxr-xr-x  2 1001 users   200 Aug 30 22:56 accumulo
-rw-r--r--  1 1001 users 21236 Aug 30 22:33 artifacts.txt
drwxr-xr-x  2 1001 users  4096 Aug 30 22:56 atlas
drwxr-xr-x  2 1001 users    47 Aug 30 22:56 bigtop-jsvc
drwxr-xr-x  2 1001 users    47 Aug 30 22:56 bigtop-tomcat
-rw-r--r--  1 1001 users   539 Aug 30 22:33 build.id
-rw-r--r--  1 1001 users  8841 Aug 30 22:33 build_metadata.txt
drwxr-xr-x  2 1001 users    61 Aug 30 22:56 datafu
drwxr-xr-x  2 1001 users    60 Aug 30 22:56 druid
drwxr-xr-x  2 1001 users   122 Aug 30 22:56 falcon
drwxr-xr-x  2 1001 users   120 Aug 30 22:56 flume
drwxr-xr-x  2 1001 users  4096 Aug 30 22:56 hadoop
drwxr-xr-x  2 1001 users   129 Aug 30 22:56 hadooplzo
drwxr-xr-x  2 1001 users  4096 Aug 30 22:56 hbase
-rw-r--r--  1 1001 users  2612 Aug 30 22:36 HDP-2.6.2.0-205.xml
-rw-r--r--  1 1001 users   575 Aug 30 22:36 hdp.repo
drwxr-xr-x  2 1001 users    47 Aug 30 22:56 hdp-select
drwxr-xr-x  2 1001 users  4096 Aug 30 22:57 hive
drwxr-xr-x  2 1001 users   119 Aug 30 22:57 hive2
-rw-r--r--  1 1001 users   498 Aug 30 22:33 hotfix_index.html
drwxr-xr-x  2 1001 users   327 Aug 30 22:57 hue
-rw-r--r--  1 1001 users   503 Aug 30 22:33 index.html
drwxr-xr-x  2 1001 users    61 Aug 30 22:57 kafka
drwxr-xr-x  2 1001 users    60 Aug 30 22:57 knox
drwxr-xr-x  2 1001 users   113 Aug 30 22:57 livy
drwxr-xr-x  2 1001 users   120 Aug 30 22:57 mahout
drwxr-xr-x  2 1001 users  4096 Aug 30 22:57 oozie
drwxr-xr-x  2 1001 users    62 Aug 30 22:57 phoenix
drwxr-xr-x  2 1001 users    59 Aug 30 22:57 pig
-rw-r--r--  1 1001 users   494 Aug 30 22:33 private_index.html
-rw-r--r--  1 1001 users   493 Aug 30 22:33 public_index.html
drwxr-xr-x  2 1001 users  4096 Aug 30 22:57 ranger
drwxr-xr-x  2 1001 users  4096 Aug 30 22:57 repodata
drwxr-xr-x  2 1001 users    33 Aug 30 22:56 RPM-GPG-KEY
drwxr-xr-x  2 1001 users    58 Aug 30 22:57 shc
drwxr-xr-x  2 1001 users    62 Aug 30 22:58 slider
drwxr-xr-x  2 1001 users  4096 Aug 30 22:58 slider-app-packages
drwxr-xr-x  2 1001 users   310 Aug 30 22:58 spark
drwxr-xr-x  2 1001 users   315 Aug 30 22:58 spark2
drwxr-xr-x  2 1001 users    65 Aug 30 22:58 spark_llap
drwxr-xr-x  2 1001 users   124 Aug 30 22:58 sqoop
drwxr-xr-x  2 1001 users   128 Aug 30 22:58 storm
drwxr-xr-x  2 1001 users    64 Aug 30 22:58 superset
drwxr-xr-x  2 1001 users    58 Aug 30 23:01 tez
drwxr-xr-x  2 1001 users    64 Aug 30 23:01 tez_hive2
drwxr-xr-x 33 1001 users  4096 Aug 30 23:01 vrpms
drwxr-xr-x  2 1001 users    63 Aug 30 23:01 zeppelin
drwxr-xr-x  2 1001 users   129 Aug 30 23:01 zookeeper

Eğer HDP’den kurtulamadıysanız sadece HDP veya centos7  görürsünüz.

Nihayetinde HDP dosyalarımızın dizini: /var/www/node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0, web adresi ise: http://node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0 oldu.

4. HDP-UTILS Dosyalarını İndirme

HDP-UTILS kaynak dosyalarını buradan bulabiliriz.

[root@node3 downloadedrepos]# wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz
--2017-10-01 14:43:49--  http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz
Resolving public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)... 52.85.183.69, 52.85.183.104, 52.85.183.166, ...
Connecting to public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)|52.85.183.69|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 871438951 (831M) [application/x-gzip]
Saving to: ‘HDP-UTILS-1.1.0.21-centos7.tar.gz’

 6% [==>] 53,697,203  2.35MB/s  eta 6m 13s

Dizin içini listeleyip bakalım:

[root@node3 downloadedrepos]# ls -l
total 851016
-rw-r--r-- 1 root root 871438951 Jun 10 06:16 HDP-UTILS-1.1.0.21-centos7.tar.gz

HDP-UTILS-1.1.0.21-centos7.tar.gz dosyasını gördük. Şimdi HDP-UTIS için şu dizini oluşturalım: /var/www/node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21 bunu aynı dizine açıyoruz ve listeliyoruz.

[root@node3 downloadedrepos]# cd ..
[root@node3 node3.datalonga.com]# mkdir -p hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21
[root@node3 node3.datalonga.com]# cd downloadedrepos
[root@node3 downloadedrepos]# tar xzf HDP-UTILS-1.1.0.21-centos7.tar.gz hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21
[root@node3 downloadedrepos]# cd hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21
[root@node3 1.1.0.21]# ls -l
total 851048
-rw-r--r-- 1 1001 users     14548 Mar 30  2017 epel-release-6-8.noarch.rpm
drwxr-xr-x 2 1001 users        36 May 29 09:46 extjs
drwxr-xr-x 2 1001 users        43 May 29 09:46 fping
drwxr-xr-x 2 1001 users       308 May 29 09:46 ganglia
drwxr-xr-x 2 1001 users        87 May 29 09:46 hadoop-lzo
-rw-r--r-- 1 1001 users       192 Mar 30  2017 hdp-util.repo
-rw-r--r-- 1 root root  871438951 Jun 10 06:16 HDP-UTILS-1.1.0.21-centos7.tar.gz
drwxr-xr-x 2 1001 users        45 May 29 09:46 libconfuse
drwxr-xr-x 2 1001 users        51 May 29 09:46 lucid
drwxr-xr-x 2 1001 users       162 May 29 09:46 lzo
drwxr-xr-x 2 1001 users        54 May 29 09:46 mysql
drwxr-xr-x 2 1001 users       102 May 29 09:46 mysql-connector-java
drwxr-xr-x 2 1001 users       162 May 29 09:46 nagios
drwxr-xr-x 2 1001 users        98 May 29 09:46 nagios-plugins
drwxr-xr-x 2 1001 users      4096 May 29 09:47 openblas
drwxr-xr-x 2 1001 users       134 May 29 09:47 pdsh
drwxr-xr-x 2 1001 users        94 May 29 09:47 perl
drwxr-xr-x 2 1001 users       320 May 29 09:46 R
drwxr-xr-x 2 1001 users      4096 Jun 10 06:10 repodata
drwxr-xr-x 2 1001 users        33 May 29 09:46 RPM-GPG-KEY
drwxr-xr-x 2 1001 users      4096 May 29 09:47 rrdtool
drwxr-xr-x 2 1001 users       162 Jun 10 06:08 snappy

İçinde bir dolu dosya var 🙂

Sonuç olarak HDP-UTILS için dizin adresimiz: /var/www/node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21, web adresi ise: http://node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21 oldu.

5. Ambari Repository Konfigürasyon Dosyasını Ayarlama

/var/www/node3.datalonga.com/Ambari-2.5.2.0/centos7/ambari.repo konfigürasyon dosyasını açıyoruz ve içinde aşağıdaki değişiklikleri yapıyoruz.

#VERSION_NUMBER=2.5.2.0-298
[Updates-Ambari-2.5.2.0]
name=Ambari-2.5.2.0-Updates
baseurl=http://node3.datalonga.com/Ambari-2.5.2.0/centos7
gpgcheck=1
gpgkey=http://node3.datalonga.com/Ambari-2.5.2.0/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

Bu dosyayı kapatıp çıkalım ve tüm cluster hostlarında /etc/yum.repos.d/ dizinine kopyalayalım.

[root@node3 ~]# pscp.pssh -h cluster-hosts  /var/www/node3.datalonga.com/Ambari-2.5.2.0/centos7/ambari.repo /etc/yum.repos.d/
[1] 20:45:41 [SUCCESS] node2.datalonga.com
[2] 20:45:41 [SUCCESS] node1.datalonga.com
[3] 20:45:41 [SUCCESS] node3.datalonga.com
[4] 20:45:41 [SUCCESS] node4.datalonga.com
[5] 20:45:41 [SUCCESS] node5.datalonga.com
[6] 20:45:41 [SUCCESS] node6.datalonga.com

pscp.pssh komutunu hatırlamak adına aşağıdaki şekli tekrar buraya da koyuyorum

Evet ambari reposunu başarıyla yapılandırdık.

6. HDP ve HDP-UTILS Repository Konfigürasyon Dosyasını Ayarlama

/var/www/node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0/hdp.repo dosyasının içini açıp aşağıdaki değişiklikleri yapıyoruz.

[root@node3 ~]# nano /var/www/node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0/hdp.repo
#VERSION_NUMBER=2.6.2.0-205
[HDP-2.6.2.0]
name=HDP Version - HDP-2.6.2.0
baseurl=http://node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0
gpgcheck=1
gpgkey=http://node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1


[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurl=http://node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21
gpgcheck=1
gpgkey=http://node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

Bu dosyayı kapatıp çıkalım ve bu soayayı tüm cluster hostlarında /etc/yum.repos.d/ dizinine kopyalayalım.

[root@node3 ~]# pscp.pssh -h cluster-hosts /var/www/node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0/hdp.repo /etc/yum.repos.d/
[1] 20:49:04 [SUCCESS] node1.datalonga.com
[2] 20:49:04 [SUCCESS] node2.datalonga.com
[3] 20:49:04 [SUCCESS] node4.datalonga.com
[4] 20:49:04 [SUCCESS] node3.datalonga.com
[5] 20:49:04 [SUCCESS] node5.datalonga.com
[6] 20:49:04 [SUCCESS] node6.datalonga.com

Gördüğünüz gibi her iki dosya da (ambari.repo, hdp.repo) bütün cluster sunucularına başarıyla kopyalandı.

Şimdi pssh ile tüm sunucularda yum repolist kontrolü yapalım ve local repository’nin cluster çapında çalıştığı ve tüm sunucular tarafından tanındığından emin olalım.

[root@node3 ~]# pssh -h /root/cluster-hosts -i "yum repolist"
[1] 21:59:01 [SUCCESS] node4.datalonga.com
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror.rackdc.com
 * extras: mirror.rackdc.com
 * updates: mirror.rackdc.com
repo id                      repo name                                    status
HDP-2.6.2.0                  HDP Version - HDP-2.6.2.0                      236
HDP-UTILS-1.1.0.21           HDP-UTILS Version - HDP-UTILS-1.1.0.21          64
Updates-Ambari-2.5.2.0       Ambari-2.5.2.0-Updates                          12
base/7/x86_64                CentOS-7 - Base                              9,591
extras/7/x86_64              CentOS-7 - Extras                              224
updates/7/x86_64             CentOS-7 - Updates                             729
repolist: 10,856
[2] 21:59:01 [SUCCESS] node6.datalonga.com
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror.rackdc.com
 * extras: mirror.rackdc.com
 * updates: mirror.rackdc.com
repo id                      repo name                                    status
HDP-2.6.2.0                  HDP Version - HDP-2.6.2.0                      236
HDP-UTILS-1.1.0.21           HDP-UTILS Version - HDP-UTILS-1.1.0.21          64
Updates-Ambari-2.5.2.0       Ambari-2.5.2.0-Updates                          12
base/7/x86_64                CentOS-7 - Base                              9,591
extras/7/x86_64              CentOS-7 - Extras                              224
updates/7/x86_64             CentOS-7 - Updates                             729
repolist: 10,856
[3] 21:59:02 [SUCCESS] node1.datalonga.com
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror.rackdc.com
 * extras: mirror.rackdc.com
 * updates: mirror.rackdc.com
repo id                      repo name                                    status
HDP-2.6.2.0                  HDP Version - HDP-2.6.2.0                      236
HDP-UTILS-1.1.0.21           HDP-UTILS Version - HDP-UTILS-1.1.0.21          64
Updates-Ambari-2.5.2.0       Ambari-2.5.2.0-Updates                          12
base/7/x86_64                CentOS-7 - Base                              9,591
extras/7/x86_64              CentOS-7 - Extras                              224
updates/7/x86_64             CentOS-7 - Updates                             729
repolist: 10,856
[4] 21:59:02 [SUCCESS] node5.datalonga.com
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror.rackdc.com
 * extras: mirror.rackdc.com
 * updates: mirror.rackdc.com
repo id                      repo name                                    status
HDP-2.6.2.0                  HDP Version - HDP-2.6.2.0                      236
HDP-UTILS-1.1.0.21           HDP-UTILS Version - HDP-UTILS-1.1.0.21          64
Updates-Ambari-2.5.2.0       Ambari-2.5.2.0-Updates                          12
base/7/x86_64                CentOS-7 - Base                              9,591
extras/7/x86_64              CentOS-7 - Extras                              224
updates/7/x86_64             CentOS-7 - Updates                             729
repolist: 10,856
[5] 21:59:03 [SUCCESS] node2.datalonga.com
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror.rackdc.com
 * extras: mirror.rackdc.com
 * updates: mirror.rackdc.com
repo id                      repo name                                    status
HDP-2.6.2.0                  HDP Version - HDP-2.6.2.0                      236
HDP-UTILS-1.1.0.21           HDP-UTILS Version - HDP-UTILS-1.1.0.21          64
Updates-Ambari-2.5.2.0       Ambari-2.5.2.0-Updates                          12
base/7/x86_64                CentOS-7 - Base                              9,591
extras/7/x86_64              CentOS-7 - Extras                              224
updates/7/x86_64             CentOS-7 - Updates                             729
repolist: 10,856
[6] 21:59:03 [SUCCESS] node3.datalonga.com
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror.rackdc.com
 * epel: mirror.veriteknik.net.tr
 * extras: mirror.rackdc.com
 * updates: mirror.saglayici.com
repo id                  repo name                                        status
HDP-2.6.2.0              HDP Version - HDP-2.6.2.0                           236
HDP-UTILS-1.1.0.21       HDP-UTILS Version - HDP-UTILS-1.1.0.21               64
Updates-Ambari-2.5.2.0   Ambari-2.5.2.0-Updates                               12
base/7/x86_64            CentOS-7 - Base                                   9,591
epel/x86_64              Extra Packages for Enterprise Linux 7 - x86_64   11,969
extras/7/x86_64          CentOS-7 - Extras                                   224
updates/7/x86_64         CentOS-7 - Updates                                  729
repolist: 22,825

Evet görüldüğü gibi tüm sunucular Ambari/Edge Server/node3 üzerinde oluşturduğumuz cluster lokal repository mizi tanıdı ve listelediler. Gereksiz dosyalardan kurtuluyoruz. Ancak ileride tekrar kurma ihtimalinize karşı ambari-2.5.2.0-centos7.tar.gz, HDP-2.6.2.0-centos7-rpm.tar.gz ve HDP-UTILS-1.1.0.21-centos7.tar.gz dosyalarını ana makinede yedekleyiniz. Bunun için scp kullanabilirsiniz. Yedekleme yaptıktan sonra downloadedrepos klasörü içindeki herşeyi aşağıdaki komutla silebiliriz.

[root@node3 ~]# rm -rf /var/www/node3.datalonga.com/downloadedrepos/*

Gerçekten büyük bir iş bitti. Bana cluster kurmanın en zor gelen iki aşaması var: İlki baz şablon sunucuyu hazırlamak, ikincisi ise lokal repository oluşturmak. Bu ikisini kazasız belasız geçtikten sonra geri kalan kısım çok daha eğlenceli.

Kendinize bir iyilik yapın, gidin kahve falan için, bunu fazlasıyla hakettiniz. Eğlenceli tarafta görüşmek üzere…


Hakkında Erkan ŞİRİN

2014'ten beri hem akademik alanda hem de sektörde pratik anlamda büyük veri ve veri bilimi ile ilgili çalışmalar yürütmektedir. Halihazırda İmpektra Bilişim A.Ş.'de büyük veri yöneticisi olarak çalışmakta olup aynı zamanda Gazi Üniversitesi Yönetim Bilişim Sistemleri doktora öğrencisidir. Büyük veri ve veri bilimi ile ilgili birçok kurum ve şirkete eğitimler vermekte ve projeler icra etmektedir. Çalışma alanları: büyük veri platformlarının kurulum ve yönetimi, büyük veri üzerinde makine öğrenmesi, olağan dışılık tespiti, sahtecilik tespiti, veri hazırlama sürecidir.

GÖZ ATMAK İSTEYEBİLİRSİNİZ

BG2: Cluster Ağ ve IP Planlaması

1. VMware Sanal Ağ Ayarları Editörü (Virtual Network Editor) Hadoop Big Data Cluster için basit …

Anasayfa / Büyük Veri / Hadoop Cluster Kurulumu / Kişisel Bilgisayara Gerçek Bir Hadoop Big Data Clusterı Kurmak-12: Lokal Repository Kurulumu

Kişisel Bilgisayara Gerçek Bir Hadoop Big Data Clusterı Kurmak-12: Lokal Repository Kurulumu

Lokal respository kurum ve şirketlerin sıklıkla kullandığı bir uygulamadır. Lokal repository sayesinde her bir kullanıcı bilgisayarı veya sunucular genel internetten karşıladığı paket yükleme, güncelleme vb. işlemleri kurum/şirket lokal repository’sinden karşılar. Böylelikle yüzlerce binlerce bilgisayarın internetten tek tek yapacağı işi, bir sunucu bir kere yapar. Böylelikle geniş alan ağ trafiği azaltılmış olur. Lokalz repository kullanımına zorunlu hale getiren sebepler de olabilir. Örneği güvenlik politikaları sebebiyle bazı şirket veya kurumlar (örn: askeri karargahlar) bilgisayar ve sunucularının genel ağ (internet) ile bağlantısını tamamen kısıtlayabilir. Bu sebeple Hadoop cluster için gerekli dosyalar genel ağdan alınır, harici harddisk veya başka medyalarla lokal repository sunucusuna taşınır.

Aslında bu yazıda yapacaklarımızı yapmadan da Hadoop kurabiliriz. Ancak biz Apache’nin Hadoop Cluster Yönetim ve İzleme aracı olan Ambari ile Hadoop kurmak istiyoruz. Eğer tercihimizi Ambari ile kurulumdan yana yapmışsak internet bağlantı durumuna göre kurulumun üç yöntemi var:

  1. İnternet bağlantısı var: Bu durumda herhangi bir repository kurmaya gerek yok. Ambari sunucuda kurulum esnasında Hortonworks’ün public repository adreslerini belirtiyoruz.
  2. İnternet bağlantısı sınırlı: Bu durumda lokal repository kuruyoruz. Kurulum dosyalarını internet bağlantı kısıtlaması olmayan bir yerden indirip lokal repository’e taşıyoruz. Ancak repo dosyalarını (küçük boyutlu repository konfigürasyon dosyaları) Ambari Server’da konfigüre ettikten sonra clusterdaki diğer sunucularla senkronizesini  sınırlı internet bağlantısını kullanarak gerçekleştiriyoruz.
  3. İnternet bağlantısı hiç yok: Bu durumda yine lokal repository kuruyor ve kurulum dosyalarını başka yerden indirip elle buraya taşıyoruz. Ancak hiç internet bağlantımız olmadığı için küçük repo dosyalarını Ambari Server’da konfigüre ettikten sonra cluster da bulunan diğer sunuculara elle veya pscp.pssh ile kopyalayıp ayarlıyoruz.

Ambari, HDP ve HDP-UTILS lokal repo kurulumu şu adımlardan oluşacak:

  • Kurulum dosyalarını indir
  • Repo konfigürasyon dosyalarını indir ve düzenle
  • Repo dosyalarını tüm cluster sunucularına dağıt

Bütün kurulum dosyalarını indirmek için /var/www/node3.datalonga.com dizininde downloadedrepos klasörü oluşturuyoruz. Tüm tar.gz uzantılı dosyaları buraya indirdireceğiz. Açacağımız dizinleri oluşturduktan sonra tar.gz dosyalarını buralara açacağız.

 Ambari Kurulum Dosyalarını İndirme

/var/www/node3.datalonga.com/downloadedrepos dizininde wget ile ambari kurulum dosyalarını indiriyoruz. Ambari kurulum dosyaları (tarball) bu adreste bulabiliriz. Google’dan Ambari repositories diye arattığınızda da karşınıza bu adres çıkacaktır. Ben aşağıdaki şekilde repository listesinin daha anlaşılır olması için biraz açıklamalarda bulundum.


Yukarıdaki şekilden Ambari tarball dosyalarını indirelim:

[root@node3 ~]# cd /var/www/node3.datalonga.com/downloadedrepos/
[root@node3 downloadedrepos]# wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.2.0/ambari-2.5.2.0-centos7.tar.gz
--2017-10-01 07:09:25--  http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.2.0/ambari-2.5.2.0-centos7.tar.gz
Resolving public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)... 52.85.183.44, 52.85.183.33, 52.85.183.73, ...
Connecting to public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)|52.85.183.44|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1789191682 (1.7G) [application/x-tar]
Saving to: ‘ambari-2.5.2.0-centos7.tar.gz’

 5% [==>                                                              ] 91,877,442  2.80MB/s  eta 10m 7s

İndirme tamalandığına dair aşağıdaki bilgileri görüyoruz.

100%[==============================================================>] 1,789,191,682 2.78MB/s   in 10m 13s

2017-10-01 07:19:39 (2.78 MB/s) - ‘ambari-2.5.2.0-centos7.tar.gz’ saved [1789191682/1789191682]

İndirdiğimiz ambari-2.5.2.0-centos7.tar.gz uzantılı dosyasını /var/www/node3.datalonga.com/Ambari-2.5.2.0/centos7 içine açıp içinde neler var bakalım.

[root@node3 downloadedrepos]# cd ..
[root@node3 node3.datalonga.com]# mkdir -p Ambari-2.5.2.0/centos7
[root@node3 node3.datalonga.com]# cd Ambari-2.5.2.0/centos7
[root@node3 centos7]# tar xzf /var/www/node3.datalonga.com/downloadedrepos/ambari-2.5.2.0-centos7.tar.gz

Yeni yarattığımız ~/Ambari-2.5.2.0/centos7 dizini içinde dosyalar açılırken tekrar ambari/centos7/<dosyalar> Bu sebeple açılan yerdeki dosyaları yeni oluşturduğumuz dizine çıkarıp boşalanı silmeliyiz.

[root@node3 centos7]# mv ambari/centos7/* .
[root@node3 centos7]# rm -r ambari
rm: descend into directory ‘ambari’? y
rm: remove directory ‘ambari/centos7’? y
rm: remove directory ‘ambari’? y

Nihayetinde Ambari için dizinimiz /var/www/node3.datalonga.com/Ambari-2.5.2.0/centos7 web adresimiz ise http://node3.datalonga.com/Ambari-2.5.2.0/centos7 oldu.

HDP Dosyalarını İndirme

Ambari dosyalarını /var/www/node3.datalonga.com/downloadedrepos kök dizinine indirmiştik. HDP ve HDP-UTILS dosyalarını da yine aynı yere indiriyoruz.
HDP dosyaları için bu adrese gitmemiz veya Google’dan Hortonworks HDP repository diye aratmamız gerekecek. Adrese gittiğimizde karşımıza aşağıda bir parçası görülen geniş tablo çıkacak. Bu tabloda ben gerekli açıklamaları yaptım.


downloadedrepos dizinine geçiyoruz ve wget ile HDP tarball indiriyoruz.

[root@node3 downloadedrepos]# wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.2.0/HDP-2.6.2.0-centos7-rpm.tar.gz
--2017-10-01 07:36:43--  http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.2.0/HDP-2.6.2.0-centos7-rpm.tar.gz
Resolving public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)... 52.85.183.104, 52.85.183.73, 52.85.183.69, ...
Connecting to public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)|52.85.183.104|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 6902787772 (6.4G) [application/x-tar]
Saving to: ‘HDP-2.6.2.0-centos7-rpm.tar.gz’

13% [=======>                                                         ] 919,270,670 2.78MB/s  eta 34m 27s

İndirme tamamlandığı zaman aşağıdaki bilgilendirmeyi göreceğiz.

100%[==============================================================>] 6,902,787,772 2.78MB/s   in 39m 38s
2017-10-01 08:16:22 (2.77 MB/s) - ‘HDP-2.6.2.0-centos7-rpm.tar.gz’ saved [6902787772/6902787772]

Evet 6 GB’dan daha fazla bir veri indirmiş bulunuyoruz. Eğer bu dosyaları Ambari kurulumu esnasında Hortonworks’ün public repository’sinden indirmiş olsaydık 6 küsür GB verinin inmesini kurulum esnasında bekleyecektik.

Şimdi hdp dizinini listeleyelim.

[root@node3 downloadedrepos]# ls -l
total 6741004
-rw-r--r-- 1 root root 6902787772 Aug 30 23:38 HDP-2.6.2.0-centos7-rpm.tar.gz

HDP-2.6.2.0-centos7-rpm.tar.gz dosyasını gördük. Şimdi bunu açacağımız dizini (/var/www/node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0) oluşturalım ve açalım ve açtıktan sonra tekrar listeleyelim.

[root@node3 downloadedrepos]# cd ..
[root@node3 node3.datalonga.com]# mkdir -p /hdp/HDP/centos7/2.x/updates/2.6.2.0
[root@node3 downloadedrepos]# tar xzf HDP-2.6.2.0-centos7-rpm.tar.gz /hdp/HDP/centos7/2.x/updates/2.6.2.0

HDP/centos7 adında bir klasör içine çıkaracaktır. Bu klasörden kurtarın. Daha sonraki dizin içi görünümü:

[root@node3 downloadedrepos]# cd ..
[root@node3 node3.datalonga.com]# cd hdp/HDP/centos7/2.x/updates/2.6.2.0
[root@node3 2.6.2.0]# mv HDP/centos7/* hdp/HDP/centos7/2.x/updates/2.6.2.0
[root@node3 2.6.2.0]# rm -r HDP
[root@node3 2.6.2.0]# ls -l
total 100
drwxr-xr-x  2 1001 users   200 Aug 30 22:56 accumulo
-rw-r--r--  1 1001 users 21236 Aug 30 22:33 artifacts.txt
drwxr-xr-x  2 1001 users  4096 Aug 30 22:56 atlas
drwxr-xr-x  2 1001 users    47 Aug 30 22:56 bigtop-jsvc
drwxr-xr-x  2 1001 users    47 Aug 30 22:56 bigtop-tomcat
-rw-r--r--  1 1001 users   539 Aug 30 22:33 build.id
-rw-r--r--  1 1001 users  8841 Aug 30 22:33 build_metadata.txt
drwxr-xr-x  2 1001 users    61 Aug 30 22:56 datafu
drwxr-xr-x  2 1001 users    60 Aug 30 22:56 druid
drwxr-xr-x  2 1001 users   122 Aug 30 22:56 falcon
drwxr-xr-x  2 1001 users   120 Aug 30 22:56 flume
drwxr-xr-x  2 1001 users  4096 Aug 30 22:56 hadoop
drwxr-xr-x  2 1001 users   129 Aug 30 22:56 hadooplzo
drwxr-xr-x  2 1001 users  4096 Aug 30 22:56 hbase
-rw-r--r--  1 1001 users  2612 Aug 30 22:36 HDP-2.6.2.0-205.xml
-rw-r--r--  1 1001 users   575 Aug 30 22:36 hdp.repo
drwxr-xr-x  2 1001 users    47 Aug 30 22:56 hdp-select
drwxr-xr-x  2 1001 users  4096 Aug 30 22:57 hive
drwxr-xr-x  2 1001 users   119 Aug 30 22:57 hive2
-rw-r--r--  1 1001 users   498 Aug 30 22:33 hotfix_index.html
drwxr-xr-x  2 1001 users   327 Aug 30 22:57 hue
-rw-r--r--  1 1001 users   503 Aug 30 22:33 index.html
drwxr-xr-x  2 1001 users    61 Aug 30 22:57 kafka
drwxr-xr-x  2 1001 users    60 Aug 30 22:57 knox
drwxr-xr-x  2 1001 users   113 Aug 30 22:57 livy
drwxr-xr-x  2 1001 users   120 Aug 30 22:57 mahout
drwxr-xr-x  2 1001 users  4096 Aug 30 22:57 oozie
drwxr-xr-x  2 1001 users    62 Aug 30 22:57 phoenix
drwxr-xr-x  2 1001 users    59 Aug 30 22:57 pig
-rw-r--r--  1 1001 users   494 Aug 30 22:33 private_index.html
-rw-r--r--  1 1001 users   493 Aug 30 22:33 public_index.html
drwxr-xr-x  2 1001 users  4096 Aug 30 22:57 ranger
drwxr-xr-x  2 1001 users  4096 Aug 30 22:57 repodata
drwxr-xr-x  2 1001 users    33 Aug 30 22:56 RPM-GPG-KEY
drwxr-xr-x  2 1001 users    58 Aug 30 22:57 shc
drwxr-xr-x  2 1001 users    62 Aug 30 22:58 slider
drwxr-xr-x  2 1001 users  4096 Aug 30 22:58 slider-app-packages
drwxr-xr-x  2 1001 users   310 Aug 30 22:58 spark
drwxr-xr-x  2 1001 users   315 Aug 30 22:58 spark2
drwxr-xr-x  2 1001 users    65 Aug 30 22:58 spark_llap
drwxr-xr-x  2 1001 users   124 Aug 30 22:58 sqoop
drwxr-xr-x  2 1001 users   128 Aug 30 22:58 storm
drwxr-xr-x  2 1001 users    64 Aug 30 22:58 superset
drwxr-xr-x  2 1001 users    58 Aug 30 23:01 tez
drwxr-xr-x  2 1001 users    64 Aug 30 23:01 tez_hive2
drwxr-xr-x 33 1001 users  4096 Aug 30 23:01 vrpms
drwxr-xr-x  2 1001 users    63 Aug 30 23:01 zeppelin
drwxr-xr-x  2 1001 users   129 Aug 30 23:01 zookeeper

Eğer HDP’den kurtulamadıysanız sadece HDP veya centos7  görürsünüz.

Nihayetinde HDP dosyalarımızın dizini: /var/www/node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0, web adresi ise: http://node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0 oldu.

HDP-UTILS Dosyalarını İndirme

HDP-UTILS kaynak dosyalarını buradan bulabiliriz.

[root@node3 downloadedrepos]# wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz
--2017-10-01 14:43:49--  http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz
Resolving public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)... 52.85.183.69, 52.85.183.104, 52.85.183.166, ...
Connecting to public-repo-1.hortonworks.com (public-repo-1.hortonworks.com)|52.85.183.69|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 871438951 (831M) [application/x-gzip]
Saving to: ‘HDP-UTILS-1.1.0.21-centos7.tar.gz’

 6% [==>                                               ] 53,697,203  2.35MB/s  eta 6m 13s

Dizin içini listeleyip bakalım:

[root@node3 downloadedrepos]# ls -l
total 851016
-rw-r--r-- 1 root root 871438951 Jun 10 06:16 HDP-UTILS-1.1.0.21-centos7.tar.gz

HDP-UTILS-1.1.0.21-centos7.tar.gz dosyasını gördük. Şimdi HDP-UTIS için şu dizini oluşturalım: /var/www/node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21 bunu aynı dizine açıyoruz ve listeliyoruz.

[root@node3 downloadedrepos]# cd ..
[root@node3 node3.datalonga.com]# mkdir -p hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21
[root@node3 node3.datalonga.com]# cd downloadedrepos
[root@node3 downloadedrepos]# tar xzf HDP-UTILS-1.1.0.21-centos7.tar.gz hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21
[root@node3 downloadedrepos]# cd hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21
[root@node3 1.1.0.21]# ls -l
total 851048
-rw-r--r-- 1 1001 users     14548 Mar 30  2017 epel-release-6-8.noarch.rpm
drwxr-xr-x 2 1001 users        36 May 29 09:46 extjs
drwxr-xr-x 2 1001 users        43 May 29 09:46 fping
drwxr-xr-x 2 1001 users       308 May 29 09:46 ganglia
drwxr-xr-x 2 1001 users        87 May 29 09:46 hadoop-lzo
-rw-r--r-- 1 1001 users       192 Mar 30  2017 hdp-util.repo
-rw-r--r-- 1 root root  871438951 Jun 10 06:16 HDP-UTILS-1.1.0.21-centos7.tar.gz
drwxr-xr-x 2 1001 users        45 May 29 09:46 libconfuse
drwxr-xr-x 2 1001 users        51 May 29 09:46 lucid
drwxr-xr-x 2 1001 users       162 May 29 09:46 lzo
drwxr-xr-x 2 1001 users        54 May 29 09:46 mysql
drwxr-xr-x 2 1001 users       102 May 29 09:46 mysql-connector-java
drwxr-xr-x 2 1001 users       162 May 29 09:46 nagios
drwxr-xr-x 2 1001 users        98 May 29 09:46 nagios-plugins
drwxr-xr-x 2 1001 users      4096 May 29 09:47 openblas
drwxr-xr-x 2 1001 users       134 May 29 09:47 pdsh
drwxr-xr-x 2 1001 users        94 May 29 09:47 perl
drwxr-xr-x 2 1001 users       320 May 29 09:46 R
drwxr-xr-x 2 1001 users      4096 Jun 10 06:10 repodata
drwxr-xr-x 2 1001 users        33 May 29 09:46 RPM-GPG-KEY
drwxr-xr-x 2 1001 users      4096 May 29 09:47 rrdtool
drwxr-xr-x 2 1001 users       162 Jun 10 06:08 snappy

İçinde bir dolu dosya var 🙂

Sonuç olarak HDP-UTILS için dizin adresimiz: /var/www/node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21, web adresi ise: http://node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21 oldu.

Ambari Repository Konfigürasyon Dosyasını Ayarlama

/var/www/node3.datalonga.com/Ambari-2.5.2.0/centos7/ambari.repo konfigürasyon dosyasını açıyoruz ve içinde aşağıdaki değişiklikleri yapıyoruz.

#VERSION_NUMBER=2.5.2.0-298
[Updates-Ambari-2.5.2.0]
name=Ambari-2.5.2.0-Updates
baseurl=http://node3.datalonga.com/Ambari-2.5.2.0/centos7
gpgcheck=1
gpgkey=http://node3.datalonga.com/Ambari-2.5.2.0/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

Bu dosyayı kapatıp çıkalım ve tüm cluster hostlarında /etc/yum.repos.d/ dizinine kopyalayalım.

[root@node3 ~]# pscp.pssh -h cluster-hosts  /var/www/node3.datalonga.com/Ambari-2.5.2.0/centos7/ambari.repo /etc/yum.repos.d/
[1] 20:45:41 [SUCCESS] node2.datalonga.com
[2] 20:45:41 [SUCCESS] node1.datalonga.com
[3] 20:45:41 [SUCCESS] node3.datalonga.com
[4] 20:45:41 [SUCCESS] node4.datalonga.com
[5] 20:45:41 [SUCCESS] node5.datalonga.com
[6] 20:45:41 [SUCCESS] node6.datalonga.com

pscp.pssh komutunu hatırlamak adına aşağıdaki şekli tekrar buraya da koyuyorum

Evet ambari reposunu başarıyla yapılandırdık.

HDP ve HDP-UTILS Repository Konfigürasyon Dosyasını Ayarlama

/var/www/node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0/hdp.repo dosyasının içini açıp aşağıdaki değişiklikleri yapıyoruz.

[root@node3 ~]# nano /var/www/node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0/hdp.repo
#VERSION_NUMBER=2.6.2.0-205
[HDP-2.6.2.0]
name=HDP Version - HDP-2.6.2.0
baseurl=http://node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0
gpgcheck=1
gpgkey=http://node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1


[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurl=http://node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21
gpgcheck=1
gpgkey=http://node3.datalonga.com/hdp/HDP-UTILS/centos7/2.x/updates/1.1.0.21/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

Bu dosyayı kapatıp çıkalım ve bu soayayı tüm cluster hostlarında /etc/yum.repos.d/ dizinine kopyalayalım.

[root@node3 ~]# pscp.pssh -h cluster-hosts /var/www/node3.datalonga.com/hdp/HDP/centos7/2.x/updates/2.6.2.0/hdp.repo /etc/yum.repos.d/
[1] 20:49:04 [SUCCESS] node1.datalonga.com
[2] 20:49:04 [SUCCESS] node2.datalonga.com
[3] 20:49:04 [SUCCESS] node4.datalonga.com
[4] 20:49:04 [SUCCESS] node3.datalonga.com
[5] 20:49:04 [SUCCESS] node5.datalonga.com
[6] 20:49:04 [SUCCESS] node6.datalonga.com

Gördüğünüz gibi her iki dosya da (ambari.repo, hdp.repo) bütün cluster sunucularına başarıyla kopyalandı.

Şimdi pssh ile tüm sunucularda yum repolist kontrolü yapalım ve local repository’nin cluster çapında çalıştığı ve tüm sunucular tarafından tanındığından emin olalım.

[root@node3 ~]# pssh -h /root/cluster-hosts -i "yum repolist"
[1] 21:59:01 [SUCCESS] node4.datalonga.com
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror.rackdc.com
 * extras: mirror.rackdc.com
 * updates: mirror.rackdc.com
repo id                      repo name                                    status
HDP-2.6.2.0                  HDP Version - HDP-2.6.2.0                      236
HDP-UTILS-1.1.0.21           HDP-UTILS Version - HDP-UTILS-1.1.0.21          64
Updates-Ambari-2.5.2.0       Ambari-2.5.2.0-Updates                          12
base/7/x86_64                CentOS-7 - Base                              9,591
extras/7/x86_64              CentOS-7 - Extras                              224
updates/7/x86_64             CentOS-7 - Updates                             729
repolist: 10,856
[2] 21:59:01 [SUCCESS] node6.datalonga.com
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror.rackdc.com
 * extras: mirror.rackdc.com
 * updates: mirror.rackdc.com
repo id                      repo name                                    status
HDP-2.6.2.0                  HDP Version - HDP-2.6.2.0                      236
HDP-UTILS-1.1.0.21           HDP-UTILS Version - HDP-UTILS-1.1.0.21          64
Updates-Ambari-2.5.2.0       Ambari-2.5.2.0-Updates                          12
base/7/x86_64                CentOS-7 - Base                              9,591
extras/7/x86_64              CentOS-7 - Extras                              224
updates/7/x86_64             CentOS-7 - Updates                             729
repolist: 10,856
[3] 21:59:02 [SUCCESS] node1.datalonga.com
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror.rackdc.com
 * extras: mirror.rackdc.com
 * updates: mirror.rackdc.com
repo id                      repo name                                    status
HDP-2.6.2.0                  HDP Version - HDP-2.6.2.0                      236
HDP-UTILS-1.1.0.21           HDP-UTILS Version - HDP-UTILS-1.1.0.21          64
Updates-Ambari-2.5.2.0       Ambari-2.5.2.0-Updates                          12
base/7/x86_64                CentOS-7 - Base                              9,591
extras/7/x86_64              CentOS-7 - Extras                              224
updates/7/x86_64             CentOS-7 - Updates                             729
repolist: 10,856
[4] 21:59:02 [SUCCESS] node5.datalonga.com
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror.rackdc.com
 * extras: mirror.rackdc.com
 * updates: mirror.rackdc.com
repo id                      repo name                                    status
HDP-2.6.2.0                  HDP Version - HDP-2.6.2.0                      236
HDP-UTILS-1.1.0.21           HDP-UTILS Version - HDP-UTILS-1.1.0.21          64
Updates-Ambari-2.5.2.0       Ambari-2.5.2.0-Updates                          12
base/7/x86_64                CentOS-7 - Base                              9,591
extras/7/x86_64              CentOS-7 - Extras                              224
updates/7/x86_64             CentOS-7 - Updates                             729
repolist: 10,856
[5] 21:59:03 [SUCCESS] node2.datalonga.com
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror.rackdc.com
 * extras: mirror.rackdc.com
 * updates: mirror.rackdc.com
repo id                      repo name                                    status
HDP-2.6.2.0                  HDP Version - HDP-2.6.2.0                      236
HDP-UTILS-1.1.0.21           HDP-UTILS Version - HDP-UTILS-1.1.0.21          64
Updates-Ambari-2.5.2.0       Ambari-2.5.2.0-Updates                          12
base/7/x86_64                CentOS-7 - Base                              9,591
extras/7/x86_64              CentOS-7 - Extras                              224
updates/7/x86_64             CentOS-7 - Updates                             729
repolist: 10,856
[6] 21:59:03 [SUCCESS] node3.datalonga.com
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirror.rackdc.com
 * epel: mirror.veriteknik.net.tr
 * extras: mirror.rackdc.com
 * updates: mirror.saglayici.com
repo id                  repo name                                        status
HDP-2.6.2.0              HDP Version - HDP-2.6.2.0                           236
HDP-UTILS-1.1.0.21       HDP-UTILS Version - HDP-UTILS-1.1.0.21               64
Updates-Ambari-2.5.2.0   Ambari-2.5.2.0-Updates                               12
base/7/x86_64            CentOS-7 - Base                                   9,591
epel/x86_64              Extra Packages for Enterprise Linux 7 - x86_64   11,969
extras/7/x86_64          CentOS-7 - Extras                                   224
updates/7/x86_64         CentOS-7 - Updates                                  729
repolist: 22,825

Evet görüldüğü gibi tüm sunucular Ambari/Edge Server/node3 üzerinde oluşturduğumuz cluster lokal repository mizi tanıdı ve listelediler. Gereksiz dosyalardan kurtuluyoruz. Ancak ileride tekrar kurma ihtimalinize karşı ambari-2.5.2.0-centos7.tar.gz, HDP-2.6.2.0-centos7-rpm.tar.gz ve HDP-UTILS-1.1.0.21-centos7.tar.gz dosyalarını ana makinede yedekleyiniz. Bunun için scp kullanabilirsiniz. Yedekleme yaptıktan sonra downloadedrepos klasörü içindeki herşeyi aşağıdaki komutla silebiliriz.

[root@node3 ~]# rm -rf /var/www/node3.datalonga.com/downloadedrepos/*

Gerçekten büyük bir iş bitti. Bana cluster kurmanın en zor gelen iki aşaması var: İlki baz şablon sunucuyu hazırlamak, ikincisi ise lokal repository oluşturmak. Bu ikisini kazasız belasız geçtikten sonra geri kalan kısım çok daha eğlenceli.

Kendinize bir iyilik yapın, gidin kahve falan için, bunu fazlasıyla hakettiniz. Eğlenceli tarafta görüşmek üzere…

Hakkında Erkan ŞİRİN

2014'ten beri hem akademik alanda hem de sektörde pratik anlamda büyük veri ve veri bilimi ile ilgili çalışmalar yürütmektedir. Halihazırda İmpektra Bilişim A.Ş.'de büyük veri yöneticisi olarak çalışmakta olup aynı zamanda Gazi Üniversitesi Yönetim Bilişim Sistemleri doktora öğrencisidir. Büyük veri ve veri bilimi ile ilgili birçok kurum ve şirkete eğitimler vermekte ve projeler icra etmektedir. Çalışma alanları: büyük veri platformlarının kurulum ve yönetimi, büyük veri üzerinde makine öğrenmesi, olağan dışılık tespiti, sahtecilik tespiti, veri hazırlama sürecidir.

GÖZ ATMAK İSTEYEBİLİRSİNİZ

IntelliJ IDEA ile Apache Spark Projesini Uzak YARN Cluster Üzerinde Çalıştırmak-2/2

Merhaba. Yazı serimizin ikincisine devam ediyoruz. Bir önceki ilk yazımızda konuya giriş yapmıştık. Hatırlayalım, amacımız …

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir