İş Zekası ile İlgili Temel Kavramlar
(3 votes, average: 5,00 out of 5)
Loading...Giriş
Herkese merhaba! Bu yazımda temel iş zekası terimlerini bir araya getirerek tüm aradıklarınızı bulabilmenizi istedim. En sık rastlayabileceğiniz iş zekası terimleri olan veri ambarı, veri deposu, OLTP, OLAP, ETL, dashboard terimlerine ait kafanızdaki tüm soru işaretlerini silmeyi umuyorum.
İş zekası terimleri konusuna geçmeden, henüz iş zekasının ne olduğunu anlattığım yazımı okumadıysanız öncelikle İş Zekası Nedir? yazısına bakmanızı tavsiye ederim.
Temel İş Zekası Kavramları
Veri Ambarı (Data Warehouse)
İş zekasının amacını; farklı platformlardaki verileri tek merkezde toplayarak, anlık karar aldıracak raporlar sunmak olduğunu belirtmiştik. Burada sürekli belirttiğimiz tek merkezden kasıt; veri ambarıdır. Veri ambarı, başlangıçta farklı kaynaklardan gelen ilişkisel verilerin kolay, hızlı ve doğru şekilde sorgulandığı bir veri tabanıdır.
Peki buna neden ihtiyacımız var? Ayrı ayrı raporlarsak ne oluyor? İşte burada büyük veri ve veri analitiği devreye giriyor. Veriler arasında iletişim kurabilmek, aralarındaki ilişkiyi görebilmek ve veriden bir hikaye yaratabilmek için verileri tek merkezden yönetmek zorundayız. Çünkü çok farklı tiplerde farklı kaynaklardan veri geliyor ve dağınık bir yapıda tutuluyor olabilir. Bir şirket tüm departmanlarında aynı veri tabanını kullanıyor olsa bile, lojistiğini yapan şirket farklı veri tabanı kullanıyor olabilir ve biz teslimat süresi ile müşterileri memnuniyeti arasında bir ilişki kurmak istediğimizde veri ambarı yok iken bu bilgileri bir araya getirmek haftalar/ aylar alabilir veya bazı durumlarda imkansız olabilir.
Veya büyük veri dedik; sadece iç süreçlerimizde oluşan veriler ile değil, örneğin sosyal medya, blog/forum siteleri veya anketler gibi dış kaynaklardan da veri çekiliyor olabilir. Bu karmaşık ve farklı yapılardan kurtulmak, verideki akıl almaz büyümenin ardından veri bozulmalarını engellemek için veri ambarına ihtiyacımız var.
Nasıl ki bir bilgisayar farklı markalara ait farklı bileşenlerin çeşitli süreç ve işlemlerinden geçerek bir araya geldiğinde ortaya çıkıyor; ham verilerin de kurum adına işe yarar hale gelmesi için bazı işlemlerden geçerek bir araya gelmesi gerekiyor.
Veri Deposu (Data Mart)
Belirli bir konu üzerinde analiz yapmak için veri ambarının konulara bölünmüş alt kümelerine ise veri deposu deniyor.
Kişilerin kendi birimleriyle ilgili verilere bakarak, bunlarla ilgili analiz yapmalarını sağlamak için tasarlanır. Karar vericilerin işletmeye ait tüm verilere erişmesine ve veri ambarı karmaşıklığı içinde kaybolmasına gerek yoktur. Veri depoları, veri ambarı kadar ayrıntılı veri içermediği için anlaşılması daha kolaydır.
OLTP ve OLAP
Kullanıcılar veri ambarı olmadığında hem raporları oluşturacak sorguları hem de yeni kayıt ekleme, değiştirme, silme gibi işlemleri aynı veri tabanından yapmak zorunda kalır. Bu da eskiden çok sık duyduğumuz “Sistemizde yoğunluk var” veya “Sistemlerimizdeki doluluktan dolayı şuan size bilgi veremiyorum” cümlelerinin sebebidir.
OLTP (On Line Transactional Processing) veri tabanı sistemi bu gibi durumlarda yetersiz kaldığı için OLAP (On Line Analytical Processing) yaklaşımı geliştirilmiştir.
OLTP sistemler genellikle ilişkisel veri tabanları üzerine kurulmuş, üzerinde sürekli işlem yapılan veritabanları sistemleridir. OLTP sistemlerde; insert, update, delete gibi sürekli yoğun operasyonel işlemler yapılır.
OLAP ise veriler üzerinde çok boyutlu analiz yapılmasını sağlayan yaklaşımdır. İlişkisel veri tabanlarının aksine veriyi tekrarlayarak oluşturan, raporlama ve analiz için kullanılan, veriye hızlı erişim sağlayan yapılardır. OLAP sistemlerinin hızlı çalışma sebebi, verilerin daha önceden hesaplanmış olmasıdır. Varolan verileri anlamladırmayı ve raporlamayı sağlar.
Fakat OLAP ve veri ambarı birbiriyle aynı anlamda kullanılamaz. Veri ambarı özelleşmiş veri tabanı iken OLAP istemci uygulamaların veri ambarını kullanmasını kolaylaştıran teknolojidir.
Veri ambarına özelleşmiş veri tabanı dedim çünkü veri tabanlarındaki tüm bilgileri olduğu gibi içermez. Veri ambarları amaca yönelik veri saklar böylece daha hızlıdır. Veri tabanındaki bilgiler güncellendikçe veri ambarı da güncellenir.
ETL
Veri kaynaklarından veri ambarının beslenmesi sürecine ise ETL deniyor.
ETL; (Extract, Transform, Load) veri kaynaklarının sistemden alınıp, istenen formata dönüştürülmesi ve veri ambarına yüklenmesidir.
- Extract (Çek) aşamasında hangi verilerin hangi sistemden alınacağı, ne kadarının alınacağı veya ne sıklıkla alınacağının soruları yanıtlanır. Eğer verideki değişim çok sık gerçekleşiyorsa sadece değişenlerin alınması yöntemi olan incremental, eğer veri çok sık güncellenmiyorsa tamamının silinip tüm verinin tekrar alınması yöntemi olan batch seçilir.
- Transform (Dönüştür) aşamasına geçmeden genelde veride temizleme yapmak gerekir. Çünkü eksik veya yanlış veriler olabilir. Doğum tarihinde ay bilgisi olarak 21 gibi veya yaş kısmında 200 gibi değerlerden dolayı veriye güvenmeme, hepsini kullanmama durumu olabilir. Bu ön hazırlıklardan sonra veriler istenen biçime dönüştürülebilir. Örneğin elimizde adres bilgisi var ama biz mahalle bazlı bir rapor istiyor olacağız, bunun için adres sütunundan mahalle bilgisini çekerek yeni bir mahalle sütunu oluşturmamız gerekir. Veya 5 yaşından itibaren kişilerin yaş bilgisi var ve biz 5-15, 15-25, 25-35, 35-45,45+ gibi gruplar oluşturmak istiyoruz. Yani raporda görmek istediğimiz haline verileri dönüştürüğümüz bu işlemlere transform denir.
- Load (Yükle) aşamasında artık veriler veri ambarına yüklenir ve erişime hazır hale gelir. Artık veriler raporlamaya hazır!
Dashboard
Dashboard (Gösterge Paneli) birden fazla görsel grafiklerden oluşan tek bir ekrandır. Belirli konuya yönelik olan veya bir soruyu yanıtlamak için oluşturulan dashboardlar kullanıcıya bir hikaye anlatır. Bir bakışta karar vericiye ilişkili görseller sunulur ve yanıt alması kolaylaştırılmış olur.
Raporlar da oluştuktan sonra, zaman içinde gerçekleşmiş olaylar veya işlemler istatiksel olarak ilişkilendirilir ve böylece gelecek beklentileri belirli bir deneyime dayandırılır.
Sonuç
Böylece veriden rapora kadar geçen süreçte var olan tüm iş zekası terimlerini kullanmış olduk.
Bir sonraki yazımda görüşmek üzere!
Kaynaklar
OLTP ve OLAP hakkında detaylı bilgi almak isterseniz aşağıdaki makaleyi inceleyebilirsiniz: http://acikerisim.pau.edu.tr/xmlui/bitstream/handle/11499/1289/Devrim%20%C4%B0%C5%9Fli.pdf?sequence=1&isAllowed=y
Tablo için kaynak sunum:
https://courses.cs.washington.edu/courses/csep573/01sp/lectures/class1/sld025.htm
Fotoğraf için kaynak:
![](https://www.veribilimiokulu.com/wp-content/uploads/2020/05/logo-e1590873495165.png"){kind=logo}