Analistinize güvenmeli misiniz? (Bölüm III)

İş dünyasında çoğu karar vermenin ilk aşaması veri toplamaktır. Çoğu durumda, bilgiler sözcükler biçiminde toplanır. Sözler mevcut olduğunda, verileri toplayan profesyoneller bu kelimelerin bir analizini yapar ve sonuçları karar vericiye sunar. Son bilimsel araştırmalar, bu profesyonellerin, çoğu zaman, nitel verileri analiz etmede başarısız olduklarını göstermektedir. Makale, yakın tarihli bir bilimsel araştırmanın kanıtlarını içeriyor.

Bilimsel bir çalışma (Baxt WG, Waeckerle JF, Berlin JA, Callaham ML. Hakemleri kim gözden geçiriyor? Akran hakem performansını değerlendirmek için hayali bir el yazması kullanmanın fizibilitesi. Ann Emerg Med. 1998 Eylül; 32 (3 Pt 1): 310-7 ) hayali bir bilimsel yazıda 10 büyük ve 13 küçük hata ortaya çıkardı. Yazı, American College of Emergency Physicians resmi yayını olan Annals of Emergency Medicine’in tüm hakemlerine gönderildi. Annals, 25 yıldan fazla bir süredir basılmaktadır ve acil tıp alanında en çok okunan dergidir. Makalede açıklanan çalışma, propranolol ilacının migren baş ağrıları üzerindeki etkisinin standart bir çift kör, plasebo kontrol çalışmasıydı. Makale 203 eleştirmen tarafından incelendi. Hakemlerin yüzde sekseni akademik acil tıp bölümlerinde profesör ve yüzde yirmisi özel muayenehanelerde çalışan hekimlerdi.

Gözden geçirenlerin yorumlarının analizi aşağıdaki sonuçları verdi. On beş gözden geçiren, yayınlamayı tavsiye etti. Bu gruptaki incelemeciler önemli hataların% 82,7’sini ve küçük hataların% 88,2’sini gözden kaçırdı . Altmış yedi gözden geçiren, revizyonları tavsiye etti. Bu gruptaki hakemler büyük hataların% 70.4’ünü ve küçük hataların% 78.0’ını kaçırdılar. Yüz on yedi eleştirmen reddedilmesini tavsiye etti. Bu gruptaki hakemler büyük hataların% 60.9’unu ve küçük hataların% 74.8’ini gözden kaçırdılar.

Tabloya göre, yayınlamayı öneren 15 profesör ortalama olarak büyük hataların% 82,7’sini ve küçük hataların% 88,2’sini kaçırdı. Başka bir deyişle, profesörler makaleye eklenen 5 hatadan en az 4’ünü gözden kaçırdılar. Bu hatalar yazarlar tarafından “çalışmanın sonuçlarını geçersiz kılan veya belirgin şekilde zayıflatan düzeltilemez hatalar” olarak tanımlandı. Makalede yer alan küçük hatalardan birinin ilacın adının yanlış yazılmış olması ilginçtir. 203 yorumcudan 30’u yanlış yazılmış ismin doğruluğuna ikna olmuş ve görüşmeleri boyunca bu ismi kullanmıştır. Çalışmanın yazarları, sonuçlar hakkında (olağan bilimsel alt tonla) şunları söyledi: “Bu çalışmada gözden geçirenler tarafından belirlenen az sayıdaki hata şaşırtıcıydı. Makalede yer alan büyük hatalar her bir ana makaleyi geçersiz kıldı veya baltaladı. çalışmanın metodolojik adımları Bu hataların bir kısmının bile tanımlanması, çalışmanın kurtarılamaz olduğunu göstermiş olmalıydı, ancak incelemeciler bu hataların yalnızca % 34’ünü ve yalnızca İnceleyenlerin% 59’u çalışmayı reddetti. ”

Dikkat edilecek noktalar:
1. Bu çalışmada, hakemler, yıllık hakem olarak ortalama 3 yıllık deneyime ve diğer 2 bilimsel dergide bilimsel makaleleri gözden geçirmede ek yıl deneyime ve 10 yıllık acil tıp uygulamasına sahip profesörler ve özel muayenehane hekimleriydi. Bu gözden geçirenler, nitel müşteri verilerini analiz eden en deneyimli pazar araştırmacılarına, aday verilerini analiz eden en deneyimli insan kaynakları yöneticilerine, patentleri analiz eden avukatlara veya yatırım analistleri ve danışmanlarına kıyasla test edilen makale konusunda çok daha yüksek bir uzmanlık düzeyine sahiptir. iş verilerini analiz etmek. Öyleyse, profesörler ve doktorlar standart bir bilimsel makaledeki büyük hataları fark edemezlerse, daha az eğitimli profesyonellerin standart olmayan nitel iş verilerindeki boşlukları ve tutarsızlıkları belirleme şansı nedir?

2. Bu çalışmada, profesörlerin el yazmasında bulunan teknik hataları tanımlamaları bekleniyordu. Bu tür hataların tespiti ve ortadan kaldırılması, her bilim adamının geçirdiği eğitim yıllarının amacıdır. Bu çalışmanın aksine, iş dünyasındaki nitel araştırmaların büyük çoğunluğu, psikolojik boşluklar ve tutarsızlıklar içerir ve bilim adamlarının aksine, diğer çoğu profesyonel psikolojik hataları tanımlama konusunda çok az eğitim alır veya hiç eğitim almaz. Profesörler teknik hataların çoğunu tanımlayamazsa, daha az eğitimli profesyonellerin çok daha zorlu psikolojik hataları belirlemede başarılı olma şansı nedir?

3. Bir pazar araştırmacısı odak gruplarınızı analiz ederken ne kadar endişelenmelisiniz? Tipik bir odak grubu yaklaşık 12.000 kelimeye sahiptir. Ortalama bir el yazması, tek bir odak grubundan çok daha az, yaklaşık 3.000 kelime içerir. Tipik bir pazar araştırması çalışması, 4-8 odak grubundan veya 16 ila 32 kat daha fazla metinden oluşur. Öyleyse, bu çalışmadaki uzmanlar, tek bir odak grubunun dörtte birine eşdeğer bir veri hacmindeki teknik hataların çoğunu belirleyemezlerse, bir pazar araştırmacısının psikolojik tutarsızlıkları (ve entelektüel tutarsızlıkları) tanımlama şansı nedir? çok daha büyük bir veri kümesi?

4. Bir insan kaynakları yöneticisi aday havuzunu analiz ederken ne kadar endişelenmelisiniz? Bir saatlik bir röportajın transkripti yaklaşık 6.000 kelime içerir (orta ve üst düzey yöneticileri işe alırken, görüşmeler bir sıra daha fazla kelime ile tam bir gün sürebilir). Birkaç adayla mülakat yapılırken, toplam veriler 30.000 veya daha fazla kelime içerebilir (5 aday için). Öyleyse, bu çalışmadaki uzmanlar, tek bir görüşmenin yarısına eşdeğer bir veri hacmindeki büyük tutarsızlıkları belirleyemezlerse, bir insan kaynakları yöneticisinin çok daha büyük bir veri kümesiyle büyük tutarsızlıkları belirleme şansı nedir?

5. Bir yatırım analisti sizin için bazı şirketleri analiz ederken ne kadar endişelenmelisiniz? Yıllık bir rapor onbinlerce kelime içerebilir. Örneğin, IBM 2004 yıllık raporu 100 sayfa uzunluğundadır ve 65.000’den fazla kelime içermektedir. Öyleyse, bu çalışmadaki uzmanlar, IBM 2004 yıllık raporuna dahil edilen verilerin % 5 ‘inden daha azını içeren bir veri kümesindeki büyük sorunları belirleyemezse, bir yatırım analistinin şansı nedir? çok daha büyük veri kümesinde saklı olan başlıca sorunları belirlediniz mi?

Özet:
The Baxt, vd. al. Çalışma, yüksek eğitimli profesyoneller olan profesörlerin ve hekimlerin standart bir nitel veri setindeki büyük teknik hataları çoğunlukla tespit edemediklerini ve bunun sonucunda yanlış karara vardıklarını göstermektedir. Daha az eğitimli profesyonellerin, çok daha büyük standart dışı bir veri kümesindeki daha zorlu psikolojik boşlukları ve tutarsızlıkları belirlemede profesörlerden daha iyi performans gösterme şansı nedir? Ve profesyonel analistler başarısız olduklarında, yanlış yönlendirilmiş olmanıza rağmen yine de doğru kararı verme şansınız nedir?