Spark İşini Cep Telefonundan Başlatmak: Apache Livy Server
Başlık çarpıcı geldi değil mi? İnanmazsınız ancak doğru. Spark işlerini genelde client kütüphanelerinin kurulu olduğu makinelerden, yani Spark’ın Hadoop’un nerede olduğundan haberdar ve konfigürasyonları yapılmış makinelerden, başlatırız. Bu durum bizim spark işini başlatma (spark-submit) konusunda client kütüphanelerine bağımlı kılar. İşte bu kısıttan kurtulmak için “Spark işlerini her yerden başlat (Submit Jobs from Anywhere)” sloganıyla bir […]
SSIS’de Conditional Split
Daha önceki SSIS (SQL Server Integration Services) konulu yazılarımda, farklı kaynaklardaki verileri kullanarak amacımıza uygun şekillerde dönüşümler gerçekleştirmiştik. Daha sonra ise hedef çıktımızı tek bir kaynağa indirgemiştik. Bu yazıda ise tam tersi; kaynak verimizi farklı çıktılara nasıl dağıtacağımızı SSIS’de Conditional Split kullanarak göreceğiz.
Apache Flink HDFS: Okuma ve Yazma
Merhabalar. Bu yazımızda Apache Flink Datastream API ile HDFS’ten veri okuma ve tekrar HDFS’e yazma ile ilgili basit bir örnek yapacağız. Bu yazıyı yazmaya beni motive eden sebep şu oldu: Spark ile HDFS’e yazmaya alışkınız artık çocuk oyuncağı gibi geliyor. Apache Flink HDFS ne kadar zor olabilir ki diye düşündüm ve kendim bir deneyeyim dedim. […]
Spark Structured Streaming: Birden Fazla Kafka Topic’e Produce Etmek
Merhabalar. Apache Spark Structured Streaming yaygın kullanılan akan veri işleme platformlarından birisi. Elbette akan verinin işlendiği bir ekosistemde Apache Kafka da bir şekilde yerini alıyor. Spark+Kafka bu tür tasarımlar için iyi bir ikili. Bu yazımızda Spark Structured Streaming ile işlenen bir verinin üretilen çıktıya bağlı olarak birden fazla topic’e gönderimine dair bir örnek yapacağız. […]
Power BI’da Dinamik Seçim Oluşturma
Herkese merhaba. Bu yazımızda Power BI’da dinamik seçim oluşturma işlemine göz atacağız. İlk olarak dinamik seçim oluşturmaya bakalım. İş hayatında verileri analiz ederken senaryolarımız ve ihtiyaçlarımız çok değişken olabiliyor. Bu senaryolardan biri olan dinamik seçim işleminde, kullanıcının seçimine göre ilk 3, ilk 5, ilk 10 satış adedi değerlerinin görüntülenmesini sağlayacağız. Yani, kullanıcı filtreden ilk 3 […]