Data Engineering
Büyük Veri Data Engineering Kubernetes

Kubernetes’te Postgresql ve Trino Bağlantısı

Günümüzde veri analizi, iş dünyasında stratejik kararların alınmasında kritik bir rol oynamaktadır. Bu yazıda, Kubernetes ortamında PostgreSQL ve Trino’nun nasıl entegre edileceğini ve bu kombinasyonun...

Büyük Veri Data Engineering Kubernetes

Kubernetes’te Postgresql ve Trino Bağlantısı

Günümüzde veri analizi, iş dünyasında stratejik kararların alınmasında kritik bir rol oynamaktadır. Bu yazıda, Kubernetes ortamında PostgreSQL ve Trino’nun nasıl entegre edileceğini ve bu kombinasyonun...

Data Engineering Docker Kafka

Kafka Monitoring için Grafana ve Prometheus Kullanımı

Monitoring; sistemlerin sağlıklı çalışıp çalışmadığını anlamak, hataları tespit etmek ve performansı ölçmek için hayati öneme sahiptir. Bu yazıda, popüler açık kaynak kodlu izleme (monitoring) araçları...

Data Engineering Genel bir bakış Python Uygulama Yeni Başlayanlar

dbt (DataBuildTool) ile Veri Analitiği Yolculuğunda Yeni Bir Dönem

Yeniden merhaba! Hemen hemen her yazımızda veri analitiğinin, karmaşık ve dinamik bir süreç olduğuna değiniyoruzdur.  Büyük veri setleri, farklı kaynaklardan gelen veri çeşitliliği ve hızla...

Kafka Büyük Veri Data Engineering Distributed Systems

Kafka Connect Nedir?

Kafka Connect, Apache Kafka’nın tamamlayıcı bir parçasıdır ve diğer sistemleri Kafka ile entegre eder. Örneğin Kafka Connect, değişiklikleri bir veritabanından (source) Kafka’ya aktarmak ve buradan...

Büyük Veri Data Engineering Genel bir bakış

Veri Kalitesi ve Güvenirliliği için Great Expectations

Meraklı okurlarımıza tekrar merhaba! Günümüzün veri odaklı dünyasında, verilerin kalitesini ve güvenilirliğini sağlamak işletmeler ve kuruluşlar için önemli bir hal almıştır.  Uygun doğrulama ve izleme...

AWS Büyük Veri Data Engineering

AWS Glue ile Basit Bir ETL Uygulaması

AWS Glue, birden çok kaynaktan veri keşfetmeyi, hazırlamayı, taşımayı ve entegre etmeyi kolaylaştıran sunucusuz bir veri entegrasyon hizmetidir. AWS üzerinde ETL ihtiyaçları genellikle Glue ile...

Genel bir bakış Data Engineering Uygulama

Debezium ile MySQL veri tabanı değişikliklerinin yakalanması

Herkese merhaba! Bugünkü yazımızda yine keyifli bir konuya değineceğiz.  Diyelim ki veri tabanımızdaki değişiklikleri yakalamak ve başka bir sunucuya/buluta kesintisiz şekilde taşımak istiyoruz veya analiz/raporlama...

Büyük Veri Data Engineering Docker Genel bir bakış

Trino

Merhaba bu yazıda size Trino’dan bahsedeceğim. İlk olarak Trino’nun kısaca ne olduğuna bakalım ve ardından demo uygulaması yapalım. Trino Nedir? Trino, büyük veri analizi için...

Data Engineering Spark

Apache Spark, Apache Airflow, Delta Lake ve MinIO ile ETL Çalışması

Veri odaklı kuruluşlarda, çeşitli ham ve karmaşık verilerden içgörü elde etmek için gerektiğinde büyük miktarda verinin düzenlenmesi, basitleştirilmesi veya zenginleştirilmesi gerekir. ETL (Çıkart, Dönüştür, Yükle)...

Büyük Veri Data Engineering

Jenkins ile bilgilendirme e-postası nasıl gönderilir?

Jenkins, herhangi bir projeyi oluşturmayı, dağıtmayı ve otomatikleştirmeyi destekleyen bir CICD aracıdır. Projeyi oluşturduk, dağıtımını da gerçekleştirip otomatize ettik peki sürecin herhangi bir yerinde hata...

×

Bir Şeyler Ara