Anasayfa / Erkan ŞİRİN (Sayfa 2)

Erkan ŞİRİN

2014'ten beri hem akademik alanda hem de sektörde pratik anlamda büyük veri ve veri bilimi ile ilgili çalışmalar yürütmektedir. Halihazırda İmpektra Bilişim A.Ş.'de büyük veri yöneticisi olarak çalışmakta olup aynı zamanda Gazi Üniversitesi Yönetim Bilişim Sistemleri doktora öğrencisidir. Büyük veri ve veri bilimi ile ilgili birçok kurum ve şirkete eğitimler vermekte ve projeler icra etmektedir. Çalışma alanları: büyük veri platformlarının kurulum ve yönetimi, büyük veri üzerinde makine öğrenmesi, olağan dışılık tespiti, sahtecilik tespiti, veri hazırlama sürecidir.

Ağustos, 2019

  • 8 Ağustos

    Python Pandas Dataframe’i Elasticsearch’e Yazmak

    Merhabalar bu yazımızda Python Pandas Dataframe verisini Python kullanarak Elasticsearch’e yazacağız. Şükür ki Python çok gelişmiş ve zengin bir dil. Birileri biz kullanalım diye kütüphane yazmış, biz de bunu kullanarak dataframe’i Elasticsearch’e yazacağız. Bu yazıyı takip etmek için bazı ön …

Temmuz, 2019

  • 14 Temmuz

    Sık Kullanılan Hadoop HDFS Komutları

    Giriş Merhabalar bu yazımızda en sık kullanılan Hadoop hdfs komutlarına örnekler vereceğiz. Öncelikle belirtmem gerekir ki nasılki linux dünyasının süper kullanıcısı root ise hdfs dünyasının da süper kullanıcısı hdfs kullanıcıdır. Komutlar içinde sık sık hdfs kullanacağız. Bu hdfs’lerin bazısı kullanıcı …

Haziran, 2019

  • 29 Haziran

    Python Pandas ile Aynı Anda Birden Fazla CSV Dosyasını Okumak

    Bazen bir dizin içindeki tüm csv uzantılı dosyaları okuyup tek bir dataframe yapmak isteyebiliriz. Apache Spark bunu rahatlıkla yapabilirken pandas read_csv bunu tek başına yapamıyor maalesef. Basit okumada mutlaka csv uzantılı dosya ismini belirtmemiz gerekiyor. Aşağıda dosya ismini belirtmeden bir …

Mayıs, 2019

  • 27 Mayıs

    Docker Sık Kullanılan Komutlar-2

    Merhabalar serinin 2. yazısında sık kullandığım docker komutlarını eklemeye devam ediyorum Docker Network KavramıDocker Container IP Adresini ÖğrenmekDocker Sanal Ağ OluşturmakDocker Network ListelemeDocker Network Bilgilerini İncelemeÇalışan Bir Docker Container’ı Bir Network’e BağlamakDocker Container Adını Değiştirmek 1. Docker Network Kavramı Her …

  • 25 Mayıs

    CentOS7’de yum ile yüklenen java home işlemleri

    Java nereye yüklü JAVA_HOME neresi zaman zaman siz de karıştırıyor olabilirsiniz. Bu yazıda CentOS7 üzerine yum ile yüklenen java’nın home diznini öğrenecek ve kalıcı olarak JAVA_HOME’u set edeceğiz. java home dizini: [root@node1 ~]# ls -l /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64/ Kalıcı olarak set etme: …

  • 1 Mayıs

    Docker Sık Kullanılan Komutlar-1

    Merhaba bu yazımda sık sık kullandığım docker komutlarını derleyeceğim. NGINX Örneği ile Docker Container Yaratma ve Çalıştırma sudo docker container run --publish 80:80 --detach --name webhost nginx Örnek çıktı uzun bir container id numarası olacaktır. f1ae36d58a81efe40afcda069f26b4bd27824442fa33f0a079bd516df4e85b37 –detach parametresi konteynırın arka …

Nisan, 2019

  • 27 Nisan

    HDP-Sandbox içinde YARN’a Daha Fazla Kaynak Tahsis Etmek

    Merhabalar. Bu yazımızda Hortonworks’ün Hadoop sürümü olan HDP 2.6.4 Sandbox üzerinde YARN’a daha fazla kaynağı nasıl tahsis edeceğimizi göreceğiz. Bu yazımızın amacı Sandbox ile uygulama yaparken en fazla bir YARN uygulaması çalıştırabilecek kadar kısıtlı kaynağa (özellikle de RAM) sahip omasıdır. …

  • 21 Nisan

    Apache Spark ile Parquet Formatında Veri Okuma (Python)

    Merhaba bu yazımızda parquet uzantılı bir dosyanın pyspark ile nasıl okunacağını göreceğiz. Bu yazıyı yazmamızın sebebi pyspark ile parquet dosyası okumanın, standart dataframe API’si ile csv gibi yaygın formatları okumaktan farklılık göstermesidir. Bu çalışma esnasında kullandığım ortamlar: İşletim sistemi: Windows …

  • 21 Nisan

    Apache Spark ile Parquet Formatında Veri Yazma ve Okuma (Scala)

    Merhaba. Bu yazımızda Apache Spark ile csv uzantılı bir veri dosyasını okuyup parquet uzantılı olarak diske kaydedeceğiz ve kaydettiğimiz parquet dosyasını tekrar Spark ile okuyacağız. Spark, birçok formatta veriyi okuyup yazabiliyor. Parquet, csv dosyalarına göre daha az yer kapladığı gibi okuma performansı da daha …

  • 19 Nisan

    Python Pandas float_format

    Merhaba. Pandas dataframe çıktılarını incelemek için çoğu zaman df.head() metodunu kullanırız. Ancak bazen ondlıklı sayıların gösteriminde noktadan sonra çok fazla rakam olur ve bu çıktının okunup anlaşılmasını güçleştirir. Daha basit ve sade bir çıktı için ondalıklı sayıları formatlayabiliriz. Bu yazımızla …