Büyük Veri

Merhabalar. Bu yazımızda csv dosyasından okuduğumuz bir veri setini Elasticsearch’e bir index olarak yazacağız ve yazdığımız index’i Spark ile okuyacağız. 1. Giriş Apache Spark ve Elasticsearch büyük veri dünyasının en popüler araçlarından ikisi. Spark ile büyük veriyi işleyebilirken, Elasticserach ile …

Merhabalar, veri ile uğraşan hemen hemen herkes Kafka’ya veri yazıp Kafka’dan veri okumadıysa bile Kafka’nın adını mutlaka duymuştur. Bu yazımızda Python ile Kafka’ya mesaj gönderip Kafka’dan mesaj okuyacağız. İlk önce elle yazdığımız basit bir metni, daha sonrada pandas dataframe’i mesaj …

dplyr Paketi ile Veri ManipülasyonuR programlama dilinde geliştirilen dplyr paketi ile veri manipülasyonu; bir veri seti hakkında anlamlı bilgilere ulaşmak için satır veya sütun bazında yapılan işlemlerdir. Değişkenler arası dört işlem yapmak, bir veya birden fazla değişken kullanarak yeni bir …

Merhabalar bu yazımızda Python Pandas Dataframe verisini Python kullanarak MongoDB’ye yazacağız. MongoDB ile etkileşime geçmek için çok farklı dillere ait driver paketler yazılmış. Bu dillerden birisi de Python. Bu yazımızda Python’ın pymongo kütüphanesini kullanacağız. Bu kütüphane Python diliyle MongoDB’de bir …

1. Giriş Merhabalar. Uygulama geliştirirken geliştirme(dev), test ve canlı (prod) gibi farklı farklı ortamlar kullanırız. Farklı ortamlarda çalışırken bazı ayarlamalar yapmamız gerekir. Şayet hızlı bir şekilde uygulamayı çıkarayım, geliştirme, canlı vb. uğraşmayayım diyorsanız bu yazı size göre. Bu yazıda Windows …

Merhaba. Yazı serimizin ikincisine devam ediyoruz. Bir önceki ilk yazımızda konuya giriş yapmıştık. Hatırlayalım, amacımız Spark uygulamasını Windows bilgisayarımızda kurulu IntelliJ ile uzak hadoop cluster üzerinde geliştirmekti. IntelliJ ile devam ediyoruz. 4. IntelliJ Spark Uygulaması: Maven Projesi Oluşturmak Şimdi uygulamamızı …

Büyük veri dünyasının yıldızı Apache Hadoop’u herkesin anlayabileceği basit ve sade bir yaklaşımla anlatıyoruz. Kendi kendinize öğrenirken çok zorlandığınız ve zaman kaybettiğiniz noktalarda sizlerin daha hızlı ve kolay öğrenmesi için derslerde bol bol benzetme, şekil ve animasyon kullanılmaktadır. Benzetmelerin amacı olayın altında yatan mantığı kavramak ve …

Rolls Royce Büyük Veriyi Nasıl Kullanıyor? Rolls Royce, 500 havayolu ve 150’den fazla askeri kuvvet tarafından kullanılan çok büyük motorlar imal eden çok bir şirket. Bu motorlar muazzam büyüklükte güç üretiyorlar ve böyle büyük rakamlarla iş gören bir şirketin Büyük …

Giriş Merhabalar bu yazımızda en sık kullanılan Hadoop hdfs komutlarına örnekler vereceğiz. Öncelikle belirtmem gerekir ki nasılki linux dünyasının süper kullanıcısı root ise hdfs dünyasının da süper kullanıcısı hdfs kullanıcıdır. Komutlar içinde sık sık hdfs kullanacağız. Bu hdfs’lerin bazısı kullanıcı …

Fahreneight 451, bir kitabı yakmak için gereken sıcaklık değeridir. İnsanlığın bilincini oluşturan, gerçeklik hakkında bilgiler veren, devletler kurup yıktıran bu inanılmaz güçten bahsediyorum. İtfaiyeciler, insanları bilinçsizleştirmek için onların kitap okumalarını engelleyerek onları tekdüze hale getirmeye çalışan bir sistemin işçileri. Görev …