Merhabalar. Bu yazımızda Apache Spark ML kullanarak K-Ortalamalar yöntemi ile anormallik tespiti yapmaya çalışacağız. Gün geçmiyorki makine öğrenmesi farklı bir alanda kullanılmıyor olmasın. Bu alanların arasında anormallik tespiti de var. Anormal, kelimenin temel ve en basit anlamıyla normal olmayan demek. …
Aralık, 2017
- 24 Aralık
Apache Spark ML Kütüphanesi: Pipelines Örnek Uygulama
1. Giriş Merhabalar. Bildiğimiz gibi Spark, büyük veri dünyasının en popüler analitik motoru. Özellikle durağan büyük boyutlu veriler (persistent data) üzerinde hızlı bir şekilde makine öğrenmesi algoritmalarını çalıştırabilmesi Spark’ı farklı kılan özelliklerin başında geliyor. Arkadaşımız o kadar yetenekli ki sadece durağan …
- 19 Aralık
Ensemble Yöntemler (Topluluk Öğrenmesi): Basit Teorik Anlatım ve Python Uygulama
1. Enseble Yöntemler Nedir? Bir Benzetme Sınıflandırma algoritmaları ile bir nesnenin hangi sınıfa dahil olacağını tahmin etmeye çalışırız. Birçok sınıflandırma yöntemi arasından probleme uygun olanı seçer, gerekli optimizasyonları yapar ve yüksek doğruluk oranlarını yakalamaya çalışırız. Peki bu işi 3-5 tane sınıflandırıcı ile …
Kasım, 2017
- 17 Kasım
BG6: VMWare Tools Yükleme
Sunucuları kopyalamadan önce sanal makinemize VMware Tools yüklemekte fayda var. Aslında bu diziden bağımsız bir yazı da olabilir. Buradaki salt amaç: Linux CentOS sanal makineye VMware Tools kurmaktır. WM menüsünden Install VMware Tools’a basıyoruz. Karşımıza aşağıdaki ikaz çıkıyor. İşletim sistemini …
- 17 Kasım
Hortonworks HDPCA: Add an HDP service (Tez) to a cluster using Ambari
Cluster ilk kurulduğunda genellikle temel servisler (HDFS, YARN, MepReduce, ZooKeepr, Ambari Metrics) eklenir. Kullanılması düşünülen diğer servisler ihtiyaç hasıl oldukça eklenir. Sınavda bu alanda verilecek görev bu konuyla ilgilidir. Örnek [code inline=”true” scrollable=”false”]node3[/code] sunucusuna Hive2Server kurunuz client tool’u node4,5,6,7’ye yükleyiniz. Bu …
- 17 Kasım
Hortonworks HDPCA: Add an HDP service (Hive, Pig, Slider) to a cluster using Ambari
HDPCA sertifikasyon hazırlık kapsamında clustera yeni bir servis eklemek kapsamında bu yazıda Hive, Pig ve Slider ekleyeceğiz. Bazı servisleri tek başına eklemek istesek bile karşılıklı birbirine bağımlılık (dependency) bizi bir keç servisi aynı anda yüklemeye zorlayabilir. Bu yazıda amacımız Hive …
- 17 Kasım
BG1: Kişisel Bilgisayara Büyük Veri Kurulumu Yapmak
1. Giriş Big data bildiğimiz gibi son zamanlarda üzerinde çok konuşulan bir kavram. Yapılan araştırmalar ve sektörel gelişmeler big data kullanımının artan bir trendle devam edeceğini gösteriyor. Artık big data ile ilgili bilgi ve yeteneklerimizi; big data nedir? iyi bir şey …
- 17 Kasım
BG2: Cluster Ağ ve IP Planlaması
1. VMware Sanal Ağ Ayarları Editörü (Virtual Network Editor) Hadoop Big Data Cluster için basit de olsa ağ ve ip planlaması yapmamız gerekiyor. Tüm sunucularımızın internete çıkmasını istiyoruz. Bu sebeple VMware network adaptörü NAT’da (varsayılan) bıraktık. Böylelikle oluşturulan her sanal …
- 17 Kasım
BG3: VMWare ile Sanal Makine Yaratmak
Kişisel Bilgisayara Gerçek Bir Hadoop Big Data Clusterı Kurmak yazı dizimizin üçüncüsüne devam ediyoruz. İlk yazımızda genel bir giriş yapmıştık. İkinci yazımızda ise ağ ve ip planlaması yaptık. Bu yazımızda belirlediğimiz uygulama planına göre devam ediyoruz. Planımıza göre 6 sunuculu …
- 17 Kasım
BG4: İşletim Sistemini Yüklemek
Bu yazımızda daha önce VMware ile yarattığımız sanal makine üzerine CentOS7 64-bit işletim sistemini kuracağız, gerekli yükleme seçeneklerini belirleyeceğiz ve internete erişir hale getireceğiz. BASECENTOS7 sanal makinemizi başlatıyoruz. Sanal DVD sürücüde CentOS-7-x86_64-DVD-1708.iso takılı olduğu için oradan başlatacaktır. Karşımıza çıkan ekranın …