n8n’i Docker ile Lokalinizde Çalıştırma: Adım Adım Kurulum Rehberi
n8n’in ne olduğunu ve neden tercih edildiğini daha önce ele almıştık. Bu yazıda teoriyi bir kenara bırakıp doğrudan işin pratiğine giriyoruz: n8n’i kendi bilgisayarınızda Docker ile nasıl çalıştırırsınız? n8n’i lokalinizde çalıştırmanın en pratik yolu Docker’dır. Node.js ile doğrudan kurmak da mümkündür, ama bu durumda sürüm çakışmaları, sistem bağımlılıkları ve “bende çalışıyordu” sorunlarıyla uğraşırsınız. Docker ile […]
Python’da HTTP İstemci Kütüphaneleri: Requests vs AIOHTTP vs HTTPX
Giriş: Neden HTTP İstemcileri Bu Kadar Önemli? Veri mühendisliği (data engineering) dünyasında günümüzün hemen her veri akış hattı (data pipeline) bir noktada dış API’larla konuşmak zorunda kalıyor. İster bir REST API’den veri çekiyor olalım, ister bir webhook (web kancası) dinliyor olalım, isterse de mikroservisler (microservices) arasında veri taşıyor olalım — HTTP istekleri (HTTP requests) işimizin […]
Kafka Producer Güvenilirliği: Acks, Retry ve Idempotent Producer İlişkisini Öğrenelim
Merhaba! Bugün Apache Kafka’nın en kritik konularından biri olan Kafka Producer güvenilirliği (producer reliability) üzerine derinlemesine bir yazı hazırladım. Eğer Kafka kullanıyorsanız veya kullanmayı planlıyorsanız, mesajlarınızın kaybolmaması ve duplicate (tekrar eden) mesajlardan kaçınmanız için bu konuyu çok iyi anlamanız gerekiyor. Hadi birlikte öğrenelim! Producer Acks Nedir ve Neden Önemlidir? Öncelikle acks (acknowledgment) parametresinden başlayalım. Bu […]
Apache Kafka Exactly-Once Semantics: Mesajlar Ne Kaybolsun, Ne Tekrar Etsin!
Bu yazıda sizlerle Apache Kafka’nın en kritik ve en çok yanlış anlaşılan özelliklerinden biri olan exactly-once semantics (tam bir kez semantiği) konusunu detaylıca konuşacağız. Bu özellik dağıtık sistemlerde çözmesi en zor problemlerden biri olarak kabul ediliyor ve bazı uzmanlar bunun matematiksel olarak imkansız olduğunu bile iddia ediyordu [2][7]. Ama Kafka bunu başardı! Gelin birlikte nasıl […]
Docker Compose ile 3 Node KRaft Kafka Cluster Kurulumu (Kafka 4.1.0)
Neden KRaft ve Neden Kafka 4.1.0? Daha önce bu yazımda Zookeeper-less Kafka cluster kurulumundan bahsetmiştim. Aradan epey zaman geçti ve resmi imajlar kullanarak yeni bir molti-node kafka cluster kurulumunu docker compose ile ele almak istedim. Kafka 4.0 ile beraber ZooKeeper bağımlılığı kaldırıldı ve KRaft (Kafka Raft) varsayılan hâle geldi. Bu hem yönetimi basitleştirir (ayrı bir […]
Veri Bilimciler için Yapay Zeka Rehberi: Çalışmanızı Hızlandıracak Yeni Nesil Araçlar
Giriş Veri bilimci olmak eskiden daha farklıydı: Python kütüphaneleri, SQL sorguları, uzun önişleme süreçleri… Bugün ise yepyeni bir dönem başladı. Yapay zekâ destekli platformlar, veri bilimcilere sadece hız kazandırmıyor, aynı zamanda tek kişinin büyük ekiplerin işini yapabilmesini mümkün kılıyor. Bu yazıda hem çekirdek AI araçlarını hem de keşfetmeye değer yenilikçi platformları ele alacağız. Her birinin […]
Veri Madencilerinin Yeni Süper Gücü: Apify ile Kod Yazmadan Veri Toplama ve Otomasyon
Veri bilimi, günümüz dijital dünyasında kurumlar için en kritik rekabet avantajlarından birini sunuyor. Büyük veri setlerinden anlamlı içgörüler çıkarmak ve geleceğe yönelik isabetli tahminler yapmak, hem bireyler hem de kurumlar için vazgeçilmez bir yetenek haline geldi. Ancak, her başarılı veri bilimi projesinin temelinde yatan en önemli unsur, kaliteli ve erişilebilir veridir. Veri bilimcilerin karşılaştığı en […]
Python Güncel Trendler
Python programlama dilinin sürekli evrim geçiren yapısı, teknoloji dünyasının en heyecan verici gelişmelerinden birisi. Sektör raporları, geliştirici anketleri ve uzman analizleri, dilin mevcut durumunu ve geleceğe yönelik eğilimlerini ortaya koyuyor. Bu veriler, hem deneyimli hem de yeni başlayan geliştiriciler için Python ekosisteminin mevcut manzarasını anlama konusunda kritik önemde. Python’ın Küresel Hakimiyeti ve Kullanım Alanları Stack […]
Python ile Harika Unit Testler Yazma
Modern yazılım geliştirmede test yazma, kodunuzun güvenilirliğini ve kalitesini sağlamak için vazgeçilmez bir uygulama haline gelmiştir. Python’da test yazma konusu başta karmaşık görünse de, doğru araçlar ve tekniklerle oldukça etkili ve keyifli bir süreç haline gelebilir. Bu makalede, Python’da unit testing’den başlayarak monkey patching ve mocking gibi ileri seviye tekniklere kadar kapsamlı bir rehber sunacağız. […]
Python uv: Yeni Nesil Python Paket ve Proje Yöneticisi
uv: Rust dilinde yazılmış son derece hızlı bir Python paket ve proje yöneticisi. Python uv Python, dünya çapında milyonlarca geliştirici tarafından kullanılan güçlü ve esnek bir programlama dilidir. Ancak, Python projelerini yönetmek, özellikle bağımlılık yönetimi, sanal ortamlar ve farklı Python sürümleriyle çalışma gibi konularda zaman zaman karmaşık ve yavaş olabilir. İşte tam bu noktada, Rust […]
Python dataclass
Veri sınıflarının Python’da nasıl çalıştığını ve neden geleneksel sınıflara göre daha avantajlı olduklarını hiç merak ettiniz mi? Bu blog yazısı, Python’daki veri sınıflarının (dataclasses) hızlı bir rehberini sunacak. Veri sınıflarını nasıl kullanacağınızı, beraberinde gelen özel özellikleri, geleneksel bir sınıf oluşturmaktan neden daha hızlı olduklarını ve verilerinizi modelleme konusunda size nasıl daha fazla işlevsellik sağladıklarını örneklerle […]
ML ve AI için Python Öğrenme Yol Haritası
Makine öğrenimi (ML) ve yapay zeka (AI), teknoloji dünyasının en hızlı büyüyen alanları arasında yer alıyor. Teknik olmayan bir geçmişten gelenler ya da bu alanlarda kariyer yapmayı hedefleyenler için Python, öğrenilmesi gereken temel programlama dilidir. Python’un sade sözdizimi, geniş kütüphane ekosistemi ve özellikle AI odaklı araçları (örneğin, LangChain, Hugging Face Transformers ve OpenAI API), onu […]
Apache Spark ile AWS RDS Veritabanına Bastion Host Üzerinden SSH Tunnel Kurarak Bağlanmak
Giriş Veri mühendisliği projelerinde, özellikle kurumsal ortamlarda canlı veriye doğrudan erişim yerine bastion host gibi geçit sunucuları üzerinden güvenli bağlantılar tercih edilir. Bu yazıda, bir SSH Tunnel yardımıyla lokalde çalışan Apache Spark ile AWS RDS veritabanına nasıl erişebileceğinizi adım adım göstereceğim. Bastion Host Nedir? Bastion host, bir diz üstü bilgisayarınız veya internete açık bir cihaz […]
Ansible ile Trino Cluster Kurulumu
Ansible ile Trino: Kolayca Dağıtım Yapın! Modern veri analiz araçlarından biri olan Trino, dağıtılmış sorgulama yetenekleri ile büyük veri kümeleri üzerinde performanslı işlemler sunar. Bu yazımızda, Ansible kullanarak Trino’yu bir koordinatör ve üç worker mimarisiyle nasıl kuracağınızı göstereceğim. Yazımızda Neler Yapacağız? Bu yazıda, Ansible’ı kullanarak sanal makineler üzerinde otomasyon yapacağız. Aşağıdaki adımları takip edeceğiz: Sanal […]
Docker ile Oracle XE Veritabanı Kurulumu
Veri yönetimi ve iş süreçlerinde güvenilir, yüksek performanslı bir veritabanı çözümüne ihtiyaç duyduğunuzda, Oracle Database, dünya genelinde en çok tercih edilen seçeneklerden biridir. Oracle, büyük ölçekli veritabanı ihtiyaçlarına cevap veren, güvenilirliği ve esnekliği ile bilinen bir platformdur. Ancak, Oracle Veritabanı’nın klasik yöntemlerle kurulumu ve yapılandırılması oldukça karmaşık olabilir. Bu noktada Docker, işleri kolaylaştıran önemli bir […]
Apicurio Schema Registry ve Kafka ile Veri Akışı Yönetimi
Büyük veri sistemlerinde veri güvenliğini sağlamak ve veri formatını belirli bir yapıda tutmak, veri akışını yönetmede oldukça önemli bir rol oynar. Apicurio Schema Registry, veri yapısının standartlaşmasını sağlayarak Kafka gibi gerçek zamanlı veri hatlarında ve akış uygulamalarında veri doğruluğunu güvence altına alır. Kafka ise yüksek hacimli veri işlemlerini hızlıca gerçekleştiren bir mesajlaşma altyapısı sunar. Bu […]
Linux Container SSH Bağlantısı
Bu yazıda özetle bir docker konteynerden diğerine ssh (container to container ssh) ile bağlanma örneği yapacağız. İş hayatında sık sık bir uzak linux sunucuya bağlanıyoruz. Bu bağlantı için SSH protokolünü kullanıyoruz. Teknik olarak SSH (Secure Shell), bir ağ üzerinden iki bilgisayar arasında güvenli bir şekilde veri alışverişi ve uzaktan oturum açma imkanı sağlayan bir kriptografik […]
Spark ML Custom Transformer Yazma
Bu yazımızda Spark ML Custom Transformer yazacağız. Spark’ın makine öğrenimi kütüphanesi (MLlib), veri bilimcilere ve makine öğrenimi mühendislerine zengin bir araç seti sunuyor. Model geliştirme çalışmalarında bilhassa özellik mühendisliği (feature engineering) aşamasında çok yoğun veri ön hazırlık süreçleri oluyor. Bu çalışmalarda PySpark’ın pyspark.ml.feature kütüphanesi, makine öğrenimi modelleriniz için ham verileri anlamlı ve kullanışlı özelliklere (feature) […]
Scikit-Learn Spark Deployment
Makine öğrenimi modelleri, günümüzde birçok alanda veri analizinin ve tahminlerin temelini oluşturuyor. Scikit-learn ise en başından beri Python ile yapılan çalışmalarda, basit arayüzü ve geniş algoritma yelpazesi ile ML çalışmalarında en yaygın kütüphane. Ancak, scikit-learn ile büyük veri kümelerinde çalışmak, performans ve ölçeklenebilirlik açısından bazı zorluklar doğurabiliyor. Bu noktada, büyük veri üzerindeki başarısıyla meşhur Apache Spark […]
Docker ile Hızlı ve Kolay PySpark ve Jupyter Kurulumu
Büyük veri analizi, günümüzün veri odaklı dünyasında giderek daha önemli hale geliyor. PySpark ve Jupyter Notebook, bu alanda en popüler araçlardan ikisi. PySpark, büyük veriyi işlemek için son derece hızlı ve ölçeklenebilir bir araçken, Jupyter Notebook ise PySpark ile etkileşimli veri analizi ve görselleştirme çalışmaları için sade ve konforlu bir ortam sunar. Ancak, PySpark ve […]