Analistinize güvenmeli misiniz? (Bölüm II)

Pazarlama, işe alma ve yatırım gibi çoğu iş kararının ilk aşaması veri toplamaktır. Çoğu durumda, bilgiler sözcükler biçiminde yakalanır. Verilerin toplanması tamamlandığında, bir sonraki adım toplanan kelimeleri analiz etmektir. Çoğu durumda bu analiz, pazarlama araştırmacıları, insan kaynakları yöneticileri ve portföy yöneticileri gibi profesyonel analistler tarafından gerçekleştirilir. Son zamanlarda yapılan bazı bilimsel araştırmaların ışığında, analizlerine ve tavsiyelerine inanmalı mısınız?

Yakın zamanda yapılan bir bilimsel çalışma (Rothwell, PM ve Martyn, CN Klinik nörobilimde hakem incelemesinin tekrar üretilebilirliği: Hakemler arasındaki anlaşma, tek başına şans eseri beklenenden daha büyük mü? Brain 2000 123: 19641969), gönderilen makalelerin hakemleri arasındaki anlaşma düzeyini ölçtü bilimsel bir dergide yayınlanmak üzere. Bu eleştirmenler, genellikle gözden geçirilen makalenin konusunda geniş uzmanlığa sahip üniversitelerde profesörlerdir. Derginin editörü profesörlere iki soru sordu: 1. Makalenin kabul edilmesi, gözden geçirilmesi veya reddedilmesi, 2. Düşük, orta veya yüksek yayın için öncelik. Her makale iki profesör tarafından değerlendirildi. Çalışma iki dergiye gönderilen makaleler ile tekrarlandı. A dergisinde çalışma 179 makalenin değerlendirmelerini ve B dergisindeki 116 makalenin değerlendirmelerini karşılaştırdı. Profesörler arasındaki anlaşma Kappa istatistiği kullanılarak hesaplandı.

Sonuçlar, gözden geçirenler arasında hem öneri hem de yayın önceliği konusunda anlaşma olmadığını gösterdi. Aslında, anlaşma seviyesi, yazı tura atarak elde edileceğinden daha büyük değildi. Dahası, çok sayıda bağımsız gözden geçiren aynı makaleyi değerlendirdiğinde, sonuçlar aynıydı, anlaşma yok . Çalışmanın yazarının yazdığı gibi, “eğer akran değerlendirmesi özgünlük, kullanılan yöntemlerin uygunluğu, verilerin analizi ve sonuçların gerekçelendirilmesi açısından araştırmanın genel kalitesini ölçmek için bir girişim ise, o zaman tam bir eksiklik tekrarlanabilirlik bir sorundur . Bu özel değerlendirmeler nispeten objektif ve dolayısıyla tekrarlanabilir olmalıdır. ” Değerlendirmeler tekrarlanabilir olmalı, ancak değiller. Bir profesör “yayın için kabul et” dediğinde, diğeri “reddet” dedi, bir gözden geçiren “yayın için yüksek öncelik” dediğinde, diğeri “düşük öncelik” dedi.

Dikkat edilecek noktalar:
1. Bu çalışmada analistler, makale konusundaki uzmanlıkları nedeniyle seçilen profesörlerdi. Bu profesörler, nitel müşteri verilerini analiz eden en deneyimli moderatörlere ve görüşmecilere veya aday verilerini analiz eden en deneyimli insan kaynakları yöneticilerine kıyasla araştırma konusunda çok daha yüksek bir uzmanlığa sahiptir. Öyleyse, bu yüksek eğitimli uzmanlar nitel verilerin tutarlı bir şekilde işlendiğini göstermede başarısız olursa, daha az eğitimli profesyonellerin ve meslekten olmayan kişilerin verilerinin tutarlı analizini gösterme şansı nedir?

2. Bu çalışmadaki kriterler, yazıda bildirilen araştırmanın orijinal olup olmadığı, uygun yöntemler kullanıp kullanmadığı, verileri doğru şekilde analiz edip etmediği ve sonuçları uygun şekilde gerekçelendirip gerektirmediğidir. Çalışmanın yazarlarının dediği gibi, bu kriterler nispeten nesnel kabul edilir. Bu çalışmanın aksine, nitel araştırmaların büyük çoğunluğu zevkler, ahlak değerleri, değerler veya tercihler gibi öznel kriterleri içerir. Profesörler, makaleleri değerlendirirken tutarlı bir şekilde nesnel ölçütler uygulamada başarısız olduysa, daha az eğitimli profesyoneller ve meslekten olmayanlara, nitel verileri değerlendirirken öznel ölçütleri tutarlı bir şekilde uygulayacaklarına nasıl güvenilebilir?

3. Bu çalışmada, profesör çiftleri aynı makaleye farklı değerler atamıştır. Kim haklı? Sonuçta bu bilim ve her ikisi de doğru olamaz. Şimdi, bu kadar büyük uzmanlar bizi nitel bir veri setini doğru veya en azından tutarlı bir şekilde işleyebileceklerine ikna edemezlerse, yapabileceklerini söylediklerinde profesyonellere veya meslekten olmayanlara nasıl güvenebiliriz?

Özet:
İş dünyasında çoğu karar vermenin ilk aşaması veri toplamaktır. Çoğu durumda, bilgiler sözcükler biçiminde toplanır. Sözler mevcut olduğunda, verileri toplayan profesyoneller bu kelimelerin bir analizini yapar ve sonuçları karar vericiye sunar. Rothwell ve Martyn tarafından yapılan çalışmanın önerdiği gibi, bu profesyoneller çoğu zaman kalitatif verileri analiz etmekte başarısız olacak ve karar vericinin doğru kararı vermesini engelleyecek sonuçlar üretecektir.