Veri Madenciliği ve Modelleme

Veri Madenciliği, Analiz ve Modelleme için açıkça tanımlanması gereken önemli süreçler şunlardır:

Veri modeli: Hangi veriler mevcut olacak ve nasıl akacak?
Veri toplama: Veriler hem fiziksel hem de teknolojik açıdan nasıl toplanacak?
Toplanan veriler: hangi veriler toplanacak?
Veri türleri: Ne tür veriler toplanacak?
Veri formatlama: veriler nasıl tutulacak?
Veri ambarlama: veriler nerede tutulacak?
Veri madenciliği: Depodaki verileri nasıl elde edeceğiz?
Bilgi modelleme: modelleri nasıl yaratacağız ve ne olacak?
Bilgi erişimi: veri modellerine ve raporlarına nasıl erişeceğiz?
Sunum ve raporlama: Neyi rapor edeceğiz?

Çoğu şirket, her temas noktasında müşteriler hakkında temel bilgileri bilmek ister, örneğin:

Yaşam boyu değer
X satış ve yükseltme potansiyeli
Elde etme maliyeti
Kanal tercihleri
Bağlılık / elde tutma
Satın alma davranış kalıpları

Sahip oldukları verilerin çoğu, farklı değişim, tazeleme veya oluşum sıklığına sahip olacaktır. Farklı süreler saklanacaktır. Bazı durumlarda, kaynak veriler yerine toplu veriler saklanabilir. Tüm bu faktörler, veri modelleme uygulamasını ve nihai modelleme yazılımı gereksinimlerini etkiler.

Verileri yararlı bilgilere dönüştürmek şunları gerektirir:

Sorunların belirlenmesi
Veri setlerinin bir araya getirilmesi
Yapı modelleri
Modelleri doğrulayın
Sonuçların yorumlanması
Teslimatın otomasyonu

Daha sonra modelleme araçları ve teknikleri kullanılmalıdır. Bunlar iki gruba ayrılabilir: teori odaklı ve veriye dayalı.

Teori odaklı modelleme (hipotez testi), önyargılı fikirleri doğrulamaya veya çürütmeye çalışır. Teori odaklı modelleme araçları, kullanıcının modelin çoğunu önceki bilgilere dayanarak belirlemesini ve ardından modelin geçerli olup olmadığını test etmesini gerektirir.

Veriye dayalı modelleme araçları, verilerde buldukları modellere göre modeli otomatik olarak oluşturur. Bunun da geçerli olarak kabul edilebilmesi için test edilmesi gerekir.

Modelleme, son modelin genellikle önceki bilgiler ile yeni keşfedilen bilgilerin bir kombinasyonu olduğu yinelemeli bir süreçtir. Motor araçları ve teknikleri şunları içerir:

İstatistiksel teknikler
Veriye dayalı araçlar
Korelasyon
Küme analizi
t testleri
Faktor analizi
Varyans Analizi
CHAID (Ki-kare Otomatik Etkileşim Dedektörü) karar ağaçları
Doğrusal regresyon
Görselleştirme araçları
Lojistik regresyon
Nöral ağlar
Diskriminant analizi