Analistinize güvenmeli misiniz? (Bölüm I)

İş dünyasında çoğu karar vermenin ilk aşaması veri toplamaktır. Çoğu durumda bilgiler sözcükler biçiminde toplanır (niteliksel veriler veya yapılandırılmamış veriler olarak da adlandırılır). Örneğin, pazarlama araştırmacıları, ürün yöneticilerinin ve satış temsilcilerinin müşterilere iletmek için en iyi ürün tasarımını ve en etkili mesajı seçmelerini sağlamak için odak grupları yürütür, derinlemesine görüşmeler yapar veya anketlerde açık uçlu sorular kullanır. Diğer bir örnek, şirketin iş için en iyi adayı seçmesini sağlamak için adaylarla görüşmeler yapan insan kaynakları yöneticileridir. Verilerin toplanması tamamlandıktan ve sözcükler hazır olduğunda, verileri toplayan profesyoneller bu sözcüklerin bir analizini yapar.

Yakın zamanda yapılan bir çalışma (Craigie M, Loader B, Burrows R, Muncer S. İnternette Sağlık Bilgilerinin Güvenilirliği: Uzmanların Değerlendirmelerinin İncelenmesi. Journal of Medical Internet Research. 2002 Ocak-Mart; 4 (1): e2) ölçülmüştür uzmanların nitel verileri analiz ederken ne kadar tutarlı oldukları. Veriler, kronik bir hastalıktan muzdarip bireyler tarafından bir mesaj panosuna gönderilen 18 diziden (bağlantılı mesajlar dizisi) gelen metni içeriyordu. Her iş parçacığı bir başlangıç ​​mesajı veya sorudan ve birkaç yanıt veya cevaptan oluşuyordu. Verileri işleyen uzmanlar, aynı uzman biriminde birlikte çalışan ve seçilen hastalığın tedavisinde en az beş yıllık deneyime sahip beş doktordu. Verileri işlemek için doktorlar aşağıdaki iki ölçeği tasarladılar. Başlangıç ​​mesajı veya soru 6 bölümlü bir ölçeğe göre kodlandı: A = mükemmel; B = daha az iyi ama bazı ayrıntılarla; C = çok az ayrıntıyla zayıf; D = belirsiz; E = yanıltıcı veya ilgisiz; F = anlaşılmaz. Yanıtlar veya yanıtlar başka bir 6 bölümlü ölçeğe göre kodlandı: A = kanıta dayalı, mükemmel; B = kabul edilen bilgelik; C = kişisel görüş; D = yanıltıcı, ilgisiz; E = yanlış; F = muhtemelen tehlikeli.

Verileri işledikten sonra, beş uzmanın tümü tarafından atanan kodlar üç istatistiksel test kullanılarak karşılaştırıldı: kappa, gama ve Kendall’s W Sonuçlar, her iki başlangıçta da beş uzmanın kodları arasında zayıf uyum gösterdi soru ve cevaplar. Dahası, beş uzmandan ikisi soruya atadıkları kodlar arasında istatistiksel olarak anlamlı bir uyumsuzluk gösterdi ve farklı uzman çiftleri, atadıkları kodlar arasında çelişkiler gösterdi cevaplar. Basit bir ifadeyle, bir doktor yanıtı “A = kanıta dayalı, mükemmel” olarak etiketlediğinde, başka bir doktor aynı yanıtı “E = yanlış” veya hatta “F = muhtemelen tehlikeli” olarak etiketledi.

Dikkat edilecek noktalar:
1. Bu çalışmada, analistler, belirli kronik hastalığın tedavisinde en az beş yıllık deneyime sahip doktorlardı. Bu analistler, nitel müşteri verilerini analiz eden en deneyimli pazar araştırmacılarına veya aday verilerini analiz eden en deneyimli insan kaynakları yöneticilerine kıyasla araştırma konusunda çok daha yüksek bir uzmanlık seviyesine sahiptir. Öyleyse, bu yüksek eğitimli uzmanlar, nitel verilerin tutarlı bir şekilde işlendiğini göstermediyse, daha az eğitimli profesyonellerin verilerinin tutarlı bir analizini gösterme şansı nedir?

2. Bu çalışmadaki kriter, bir cevabın “kanıta dayalı” (bakınız kod A) olup olmamasıydı. Bu nesnel bir kriterdir. Bu çalışmadan farklı olarak, iş dünyasındaki nitel araştırmaların büyük çoğunluğu zevkler, ahlaklar, değerler veya tercihler gibi öznel kriterler içermektedir. Doktorlar metni kodlarken tek bir nesnel kriteri tutarlı bir şekilde uygulamada başarısız olduysa, daha az eğitimli profesyonellerin, nitel verileri değerlendirirken büyük bir öznel kriterler kümesini tutarlı bir şekilde uygulamaları konusunda nasıl güvenilebilir?

3. Bir pazar araştırmacısı odak gruplarınızı analiz ederken ne kadar endişelenmelisiniz? Tipik bir odak grubu yaklaşık 12.000 kelimeye sahiptir. Bu çalışmadaki veriler 18 konu içeriyordu. Ortalama bir ileti dizisi, her biri yaklaşık 120 kelimeden oluşan yaklaşık 5 gönderiden oluşur. Bu rakamlar, bu çalışmadaki verilerin 10.800 kelime içerdiğini göstermektedir; tek bir odak grubundan daha az. Bunun aksine, tipik bir pazar araştırması çalışması 4-8 odak grubundan veya 4-8 kat daha fazla metinden oluşur. Öyleyse, bu çalışmadaki uzmanlar tek bir odak grubuna eşdeğer bir veri hacmiyle tutarlılık göstermediyse, bir pazar araştırmacısının çok daha büyük bir veri kümesiyle tutarlılık gösterme şansı nedir?

4. Bir insan kaynakları yöneticisi aday havuzunu analiz ederken ne kadar endişelenmelisiniz? Bir saatlik bir röportajın transkripti yaklaşık 6.000 kelime içerir (orta ve üst düzey yöneticileri işe alırken, görüşmeler bir sıra daha fazla kelime ile tam bir gün sürebilir). Birkaç adayla mülakat yapılırken, toplam veriler 30.000 veya daha fazla kelime içerebilir (5 aday için). Öyleyse, bu çalışmadaki uzmanlar iki görüşmeye eşdeğer bir veri hacmiyle tutarlılık göstermediyse, bir insan kaynakları yöneticisinin çok daha büyük bir veri kümesiyle tutarlılık gösterme şansı nedir?

5. Bir yatırım analisti sizin için bazı şirketleri analiz ederken ne kadar endişelenmelisiniz? Yıllık bir rapor onbinlerce kelime içerebilir. Örneğin, IBM 2004 yıllık raporu 100 sayfa uzunluğundadır ve 65.000’den fazla kelime içermektedir. Dolayısıyla, bu çalışmadaki uzmanlar, tek bir şirketin yıllık raporunu içeren verilerin % 15’inden daha azını içeren bir veri kümesini analiz ederken tutarlılık göstermediyse, Bir yatırım analistinin çok daha büyük bir veri setini analiz ederken tutarlılık gösterme şansı (birkaç şirketin yıllık raporları, mali tabloları ve basın bültenleri gibi)?