Anasayfa / Büyük Veri (Sayfa 2)

Büyük Veri

Apache Spark ile Parquet Formatında Veri Yazma ve Okuma (Scala)

Merhaba. Bu yazımızda Apache Spark ile csv uzantılı bir veri dosyasını okuyup parquet uzantılı olarak diske kaydedeceğiz ve kaydettiğimiz parquet dosyasını tekrar Spark ile okuyacağız. Spark, birçok formatta veriyi okuyup yazabiliyor. Parquet, csv dosyalarına göre daha az yer kapladığı gibi okuma performansı da daha …

Daha Fazlası >>

Spark Dataframe İçindeki Kategorik Nitelikleri Otomatik Olarak Seçmek

Merhaba. Spark dataframe ile çalışırken zaman zaman içindeki kategorik değişkenleri seçeriz. Özellikle makine öğrenmesi öncesinde veri hazırlığı aşamasında bunu mutlaka yapmalıyız. Çünkü kategorik nitelikler veri hazırlığı sürecinde stringIndexer, OneHotEncoder gibi daha farklı aşamalardan geçer. Bu yazımızda Spark dataframe içindeki nitelikleri kategorik …

Daha Fazlası >>

Kategorik Veri Analizi ve Shiny Web Uygulamaları – 5

Bundan önceki yazılarımda totaliter yönetim yapısını, halkın baskıcı bir yönetim sisteminin içerisine sokuşturulması ve içeride zorla tutulması şeklinde işlemiştik. Peki halk bu sistemin içerisinde kendi isteği ile  yer alıyorsa bunun adı nedir? Bunun sorumlusu kimdir? Günümüzde daha güzel evlerde oturmak, …

Daha Fazlası >>

Kategorik Veri Analizi ve Shiny Web Uygulamaları – 4

Günümüzde gelişen teknolojilerle birlikte elimizdeki verileri kullanarak matematiksel modeller oluşturup, araştırılan konular hakkında tahminlemeler yapabiliyoruz. Bunu istatistik ile, yani belirli bir hata payı ile yapıyoruz. Örneğin bir bölgenin gelir seviyesinin incelendiği bir çalışmayı ele alalım ve bu çalışmada Doğrusal Regresyondan …

Daha Fazlası >>

Apache Spark Eğitimi

Verinin baş döndürücü hızla çoğaldığı günümüzde onu en iyi şekilde kullanmak ve yeni çağın sunduğu bu fırsattan maksimum derecede faydalanmak için kullanılabilecek en iyi araçlardan birisi şüphesiz Apache Spark’tır. Büyük veri dünyasının öncü topluluğu Apache tarafından geliştirilen ve en güçlü …

Daha Fazlası >>

Kategorik Veri Analizi ve Shiny Web Uygulamaları – 3

İnsanlık, Büyük Biraderini Arıyor… George Orwell, 1984 romanında totaliter bir yönetim yapısından bahseder. Bu yapı ile insanların tüm aktiviteleri devlet tarafından yönetilir, denetlenir ve hiçbir şekilde özgürlük tanımına yer verilmez. Düşünce Polisi insanların yaşamlarını, özel hayatlarını hatta düşüncelerine kadar takip …

Daha Fazlası >>