Bilimsel araştırmaların ve bilim insanlarının değerlendirilmelerinde yayın ve atıf sayıları, h-indeksleri, dergilerin etki faktörleri gibi sayısal göstergeler kaçınılmaz olarak rol oynamaktadır. Sayısal değerlendirmeler gerekli ön adımlardır, ama doğru ve tam bir değerlendirme için yeterli değildir. Sayısal göstergeler her bilim alanı için farklı dağılımlar gösterirler. Bilimsel yayın kanalları olarak dergi makaleleri, tebliğler, “review” yazıları, kitap veya kitap bölümleri vs disiplinlere göre değişen farklı sıklık ve ağırlıklar taşırlar. Ayrıca kişilerin ve araştırmaların değerlendirilmesinde yayın yaptıkları dergilerin etki faktörleri gibi dış etkenler belirleyici ağırlık taşıyabilmektedir.
Değerlendirme yaparken sayısal ölçümlerin hangi boyutları nasıl hesaba kattıklarına dikkat edilmelidir. Bunun da ötesinde bir bilim insanının kendi disiplinindeki ortalamalara göre çok sayıda yayın atıfı olabilir ama bunlar çok önemli ve özgün katkılar olmayabilir. Buna karşılık, az sayıda ama çok özgün ve etkili katkıları olan bilim insanları da vardır. Bilimsel değerlendirmelerde vazgeçilmez kısım niteliksel (kalitatif) değerlendirmelerdir. Bunlar daha zor ve zahmetlidir, değerlendirilen kişinin veya eserin alanında bilgi sahibi kişilerce ve bağımsız olarak yapılmaları gerekir. Dergilerin hakemlik süreçleri, üniversitelerin akademik yükseltme süreçleri, akademilere üye seçim süreçleri nitelik değerlendirmeleri üzerine inşa edilir. Kurumların güvenilirlikleri, bilimsel itibarları da niteliksel değerlendirmeleri iyi yapılmasına bağlıdır. Kısacası, sayısal göstergeler bir ilk adım olarak kullanılmalı ve nitelik değerlendirmeleri ile tamamlanmalıdır. Sayısal göstergeler ancak nitelik değerlendirmeleri ile tamamlandığında anlam taşıyabilirler. Oysa ülkemizde ve dünyada sayısal göstergeler tek başlarına öne çıkarılmakta, hatta sadece bilgisayar algoritmaları ve uzman olmayan kişilerin çıkan sayıları sıralamaları yoluyla kararlar alınabilmektedir.
Bilim Akademisi dünyada araştırma değerlendirme üzerine yayınlanan iki bildirinin imzacıları arasındadır.
- Araştırma Değerlendirme üzerine San Francisco Bildirisi (San Francisco Declaration on Research Assessment; DORA) (Bildirinin Türkçesi) (İmza tarihi: Temmuz 2014)
- Araştırma Değerlendirmesini Geliştirme Koalisyonu (Coalition for Advancing Research Assessment; CoARA) (İmza tarihi: Kasım 2022)
CoARA üzerine Bilim Akademisi Yönetim Kurulu Açıklaması
Araştırma değerlendirmede “sayıların egemenliği”ne karşı yeni bir anlaşma – Ersin Yurtsever (3 Kasım 2022)
Araştırma değerlendirmede niteliğe odaklanmak: Bilim Akademisi deneyimi – Ersin Yurtsever (19 Aralık 2024)
Bilim Akademisi kuruluşundan bu yana araştırma değerlendirme süreçlerini bu ilkeler doğrultusunda şekillendirmiştir. Yeni üye seçimi ve BAGEP süreçleri bu ilkeler doğrultusunda değerlendirilip, sürekli iyileştirilmektedir.
Bilim Akademisi’nin popüler bilim yayını sarkac.org’un Araştırma/Üniversite kategorisi altında bu konuda birçok yazı bulunmaktadır.