บทความเกี่ยวกับวิธีการประเมินสมรรถนะการวิจัยของอาจารย์และนักวิจัยเป็นรายบุคคล ที่น่าสนใจเป็นรายงานของ French Academy of Sciences, Institut de France หรือสำนักวิทยาศาสตร์ ราชบัณฑิตสถาน ประเทศฝรั่งเศส มีชื่อว่า “On the proper use of bibliometrics to evaluate individual researchers.” พิมพ์เมื่อเดือนมกราคม ปี 2011 และได้สรุปใจความสำคัญตีพิมพ์ลงในวารสาร Science Translational Medicine ปี 2011 โดย Jose-Alain Sahel สาระสำคัญในรายงานดังกล่าว มีดังนี้
Balancing quality and quantity
การประเมินสมรรถนะการวิจัยของอาจารย์และนักวิจัย ควรที่จะคำนึงถึงทั้งเชิงคุณภาพและปริมาณ การประเมินในเชิงคุณภาพคือให้ผู้ทรงคุณวุฒิในสาขานั้นๆ เป็นผู้อ่านผลงานและพิจารณา เป็นวิธีที่ดีแต่บางครั้งอาจเกิดความลำเอียงและมีผลประโยชน์ทับซ้อนได้ รวมทั้งมีความยุ่งยากและใช้เวลานาน การประเมินในเชิงปริมาณโดยการใช้ publication metrics / citation metrics เป็นวิธีที่ง่ายและสะดวกรวดเร็วกว่า อย่างไรก็ตาม การวัดในเชิงปริมาณโดยใช้ metrics แต่เพียงอย่างเดียวนั้น ย่อมไม่มีประสิทธิภาพเพียงพอที่จะประเมินสมรรถนะของนักวิจัย จำเป็นต้องพิจารณาเกณฑ์หรือตัวชี้วัดอื่นๆประกอบด้วย เช่น ภาระด้านการสอน การเป็นพี่เลี้ยงนักวิจัย (mentoring) การสร้างความร่วมมือด้านการวิจัย จำนวนสิทธิบัตร การได้รับเชิญเป็น invited speaker หรือ reveiwer ของวารสาร การมีข้อตกลงความร่วมมือกับต่างประเทศ ความเป็นผู้มีชื่อเสียงและเกียรติยศที่โดดเด่น ความสามารถในการถ่ายทอดเทคโนโลยี เป็นต้น และที่ถูกต้องควรประเมินโดยใช้ทั้งสองวิธี คือ เชิงคุณภาพ (ผู้ทรงคุณวุฒิ) และเชิงปริมาณ (บรรณมิติ / bibliometrics) ควบคู่กัน
Bibliometrics: indicators or not?
การวัดผลผลิตงานวิจัยในเชิงปริมาณ มีดัชนีหลายตัวที่ได้รับความนิยมในปัจจุบัน ซึ่งจะมีทั้งข้อดีและข้อเสีย ได้แก่
ค่า Impact factor เริ่มใช้กันมาตั้งแต่ปี 1955 คำนวนจากจำนวนการอ้างอิงที่ได้รับในปีปัจจุบัน หารด้วยจำนวนบทความที่ตีพิมพ์ในวารสารนั้นในระยะเวลา 2 ปี แม้จะมีประโยชน์แต่ก็มีข้อถกเถียงกันมาก เนื่องจากมีความแตกต่างกันระหว่างสาขาวิชา โดยเฉลี่ยแล้ววารสาร basic sciences มักจะมีค่า impact factor สูงกว่าวารสาร applied sciences และค่า impact factor ของวารสารไม่ได้สะท้อนคุณภาพของแต่ละบทความที่ตีพิมพ์ลงในวารสารนั้นแต่อย่างใด บทความอาจมีจำนวนอ้างอิงที่สูงกว่าหรือต่ำกว่าค่า impact factor ก็ได้ อีกทั้งวิธีการคำนวณค่า impact factor นั้น นับรวมการอ้างอิงตนเอง (self-citations) เข้าไปด้วย อย่างไรก็ตาม ประเทศทางแถบยุโรปรวมทั้งฝรั่งเศส ยังคงนิยมใช้ค่า journal impact factor ในการประเมินคุณภาพการวิจัยเพื่อส่งเสริมความก้าวหน้าทางวิชาชีพของนักวิจัยรายบุคคล โดยเฉพาะในสาขาทางด้านชีววิทยาและการแพทย์
จำนวนการอ้างอิง (number of citations)
มีข้อจำกัดหลายประการ เช่น จำนวนการอ้างอิงที่ได้รับนั้นขึ้นอยู่กับคุณภาพของฐานข้อมูล (databases) ที่ใช้ในการตรวจวัด (แต่ละฐานข้อมูลอาจสืบค้นจำนวนการอ้างอิงได้ไม่เท่ากัน) และไม่ได้คำนึงถึงตำแหน่งของ authorship ที่ปรากฎในบทความว่าเป็นผู้วิจัยหลักหรือไม่ บางครั้งจำนวนการอ้างอิงที่ได้รับไม่ได้แปรตามคุณภาพของเนื้อหาทางวิชาการของบทความนั้น บทความที่ตีพิมพ์ในวารสารที่มีชื่อเสียงมักจะได้เปรียบวารสารอื่นและได้รับการอ้างอิงมากกว่าแม้บทความจะมีคุณภาพเท่าๆกัน และยังมีประเด็นทางด้านวัฒนธรรม เช่น นักวิจัยชาวอเมริกันมักอ้างอิงบทความที่เขียนเป็นภาษาอังกฤษโดยคนในประเทศเดียวกัน มากกว่าจะอ้างอิงบทความของคนประเทศอื่นและเขียนเป็นภาษาอื่น เช่น บทความภาษาฝรั่งเศสของนักวิจัยชาวฝรั่งเศส เป็นต้น นอกจากนั้น บทความปริทัศน์ (review article) มักได้รับการอ้างอิงสูงกว่าบทความวิจัยที่เป็นต้นฉบับ (original article) การนับจำนวนการอ้างอิงควรหลีกเลี่ยงไม่นับรวมการอ้างอิงบทความของตนเอง (self-citations) เพราะไม่สะท้อนถึงผลกระทบของผลงานวิจัยที่แท้จริง
ดัชนีชี้วัดชนิดใหม่ๆ เช่น h-index, g-index
ดัชนี h-index เริ่มใช้ตั้งแต่ปี 2005 ค่า h ของนักวิจัยหมายถึงจำนวนผลงานวิจัย h บทความ ที่ได้รับการอ้างอิง h ครั้งหรือมากกว่า ตัวอย่างเช่น นักวิจัยที่มีค่า h-index= 20 หมายถึง นักวิจัยท่านนั้นตีพิมพ์บทความหรือเป็นผู้แต่งร่วมจำนวน 20 บทความที่ได้รับการอ้างอิง 20 ครั้งหรือมากกว่า ค่า h-index มีประโยชน์มากในการวัดผลิตภาพ (productivity) ของนักวิจัย เนื่องจากเป็นการวัดผลงานวิจัยที่ตีพิมพ์ต่อเนื่องเป็นเวลาหลายปี และวัดจำนวนการอ้างอิงของแต่ละบทความซึ่งเป็นผลกระทบสะสม ดีกว่าการวัดด้วยเกณฑ์เดี่ยวๆ เช่น จำนวนบทความตีพิมพ์ทั้งหมด จำนวนการอ้างอิงทั้งหมด หรือจำนวนการอ้างอิงต่อบทความ อย่างไรก็ตาม h-index มีข้อเสีย คือ มีความแตกต่างระหว่างสาขาวิชา นักวิจัยสาขาวิทยาศาสตร์ชีวภาพมักมีค่า h-index ที่สูงกว่าสาขาฟิสิกส์ นักวิจัยที่อาวุโสจะได้เปรียบเพราะคำนวณจากผลงานวิจัยทั้งหมดที่สะสมมาตลอดอายุการทำงาน แม้ปัจจุบันจะเลิกทำวิจัยหรือเสียชีวิตไปแล้ว ฐานข้อมูลที่ให้บริการตรวจสอบค่า h-index เช่น web of science, scopus จะรายงานค่า h-index ของนักวิจัยได้ไม่เท่ากัน (เนื่องจากครอบคลุมวารสารไม่เท่ากัน)
จำนวนการอ้างอิงที่นับไม่ได้คำนึงถึงบริบทของการอ้างอิงแต่อย่างใด เช่น เป็น negative findings ค่า h-index จะขึ้นอยู่กับจำนวนรวมของผลงานวิจัยที่ตีพิมพ์ด้วย ดังนั้น นักวิจัยหน้าใหม่ที่เพิ่งเริ่มต้นวิชาชีพ รวมทั้งนักวิจัยที่ตีพิมพ์บทความจำนวนน้อยแต่เป็นบทความที่ได้รับการอ้างอิงมาก มักจะเสียเปรียบ นอกจากนั้น ค่า h-index เป็นการคำนวณจากบทความของนักวิจัยทุกเรื่องโดยไม่คำนึงถึงบทบาทของนักวิจัยในฐานะผู้แต่งหรือผู้แต่งร่วม และไม่คำนึงถึงผลกระทบหรือความสำคัญของบทความแต่อย่างใด ต่อมาเริ่มมีการปรับปรุงค่า h-index ให้ดีขึ้น เช่น ค่า hc-index หรือ contemporary h-index (Sidiropoulos, 2007) เริ่มคำนึงถึงอายุของบทความ โดยให้ค่าน้ำหนักบทความที่ตีพิมพ์ใหม่ มากกว่าบทความที่ตีพิมพ์มานาน เพื่อให้นักวิจัยรุ่นใหม่สามารถเปรียบเทียบกับนักวิจัยอาวุโสได้อย่างยุติธรรมมากขึ้น
ดัชนี g-index เริ่มใช้เมื่อปี 2006 เป็นการเพิ่มค่าน้ำหนักให้แก่บทความที่ได้รับการอ้างอิงสูง ค่า g-index หมายถึง the highest number g of papers that together received g2 or more citations เมื่อเรียงบทความตามลำดับจำนวนการอ้างอิงที่ได้รับจากสูงมาต่ำ
ตัวอย่างเช่น g-index=20 หมายถึง นักวิจัยท่านนั้นมี 20 บทความที่ได้รับการอ้างอิง 400 หรือมากกว่า จะเห็นว่าค่า g-index จะสูงกว่าค่า h-index ทำให้แยกความแตกต่างระหว่างสมรรถนะของนักวิจัยได้ง่ายกว่า
นักวิจัย A ตีพิมพ์ 10 บทความ ได้รับการอ้างอิงบทความละ 4 ครั้ง จะมีค่า h-index = 4 นักวิจัย B ตีพิมพ์ 10 บทความและมี 9 บทความที่ได้รับการอ้างอิงบทความละ 4 ครั้ง จะมีค่า h-index = 4 เช่นกัน โดยไม่สนใจว่าบทความที่ 10 จะได้รับการอ้างอิงกี่ครั้ง (อาจได้รับการอ้างอิง 0,1,2, หรือ 3 ครั้งก็ได้)
แต่ g-index สนใจจำนวนการอ้างอิง ถ้าบทความที่ 10 ได้รับการอ้างอิง 20 ครั้ง ค่า g-index ของนักวิจัย B จะเท่ากับ 6 แต่ถ้าบทความที่ 10 ได้รับการอ้างอิง 50 ครั้ง ค่า g-index ของนักวิจัย B จะเท่ากับ 9
Choosing an indicator
เนื่องจากไม่มีดัชนีใดที่จะใช้วัดสมรรถนะของนักวิจัยได้โดยลำพัง จึงต้องใช้ร่วมกันหลายตัว ทั้งจำนวนการอ้างอิงทั้งหมด ค่า h-index, g-index ค่า impact factor ของวารสาร และต้องคำนึงถึงสาขาวิชาหรือสาขาวิชาย่อยที่แตกต่างกัน และบทบาทของความเป็นผู้แต่งในกรณีของ multiple authorship ด้วย
การนำ bibliometrics ไปใช้ในแต่ละประเทศ มีบริบทที่แตกต่างกัน ประเทศแถบยุโรปอเมริกา ใช้ bibliometrics ในการประเมินมหาวิทยาลัยและสถาบันวิจัยแต่ในระดับบุคคลจะนิยมใช้การพิจารณาจากประวัติผลงาน (CV) การสัมภาษณ์ และจดหมายรับรองมากกว่า ในขณะที่ประเทศในแถบเอเชียและประเทศจีน นิยมใช้ bibliometrics ในการคัดเลือกนักวิจัยเข้าทำงานหรือเลื่อนผลงานทางวิชาการ แม้ว่าปัจจุบันอาจจะเริ่มพิจารณาจาก letter recommendation บ้างแล้ว ส่วนประเทศฝรั่งเศสนิยมใช้ bibliometrics ในการประเมินทั้งในระดับสถาบันและระดับบุคคล โดยเฉพาะในสาขาทางด้านชีวเวชศาสตร์
การประเมินผลงานวิจัยในแต่ละสาขาก็มีความแตกต่างกัน ทางด้านวิศวกรรมเครื่องกล คอมพิวเตอร์และคณิตศาสตร์ประยุกต์ ใช้การประเมินโดยผู้ทรงคุณวุฒิ ร่วมกับการพิจารณาจำนวนผลงานวิจัย จำนวนรางวัลที่ได้รับ การได้รับเชิญเป็นผู้บรรยายในการประชุมวิชาการ ซอฟแวร์ที่ประดิษฐ์ จำนวนสิทธิบัตร และข้อตกลงของการถ่ายทอดเทคโนโลยี อาจพิจารณาจากการเป็นผู้จัดงานประชุมวิชาการ หรือร่วมเป็นกองบรรณาธิการวารสารด้วย นักวิจัยรุ่นใหม่จะได้รับการประเมินโดยผู้เชี่ยวชาญจากการสัมภาษณ์หรือขณะบรรยายในงานสัมมนา ในสาขานี้การตีพิมพ์ในวารสารอาจไม่ใช่กระบวนการถ่ายทอดองค์ความรู้ระหว่างนักวิจัยที่สำคัญเท่าไรนัก ดังนั้นการใช้ metrics ในการประเมินผลงานอาจจะได้ผลไม่ค่อยถูกต้องครบถ้วน Bibliometrics อาจใช้สำหรับประกอบการตัดสินใจแต่ไม่ใช่วิธีหลักในการประเมิน
สำหรับสาขาฟิสิกส์ วิธีการประเมินแตกต่างกันไป โดยทั่วไปสำหรับนักวิจัยรุ่นอาวุโสจะใช้ทั้งเชิงปริมาณ (จำนวนผลงานวิจัย และ h-index) และเชิงคุณภาพ (การได้รับเชิญเป็น keynote speaker หรือ invited speaker หรือ mentoring programs) สาขา astrophysics นิยมใช้ bibliometrics ในการประเมิน การคัดเลือกเข้าทำงาน การเลื่อนระดับทางวิชาการ และการจัดสรรทุนสนับสนุนการวิจัย สาขาเคมี นิยมใช้ค่า h-index จำนวนการอ้างอิง จำนวนการอ้างอิงต่อบทความในการประเมินนักวิจัยรุ่นอาวุโสที่ทำงานนาน 10-12 ปี ส่วนนักวิจัยรุ่นใหม่จะใช้การสัมภาษณ์เพื่อดูความสามารถในการนำเสนอและการอภิปรายเนื้อหาทางวิชาการ และพิจารณาจำนวนผลงานวิจัยด้วยเช่นกัน อย่างไรก็ตาม คณะกรรมการสาขาเคมีแห่งชาติของประเทศฝรั่งเศส มักจะหลีกเลี่ยงการใช้ bibliometrics ในการประเมินคุณภาพผลงานวิจัยรายบุคคล
สาขาเศรษฐศาสตร์ การประเมินโดยผู้ทรงคุณวุฒิเป็นวิธีสำคัญที่สุดในการคัดเลือกเข้าทำงานและส่งเสริมความก้าวหน้าทางวิชาการ แต่จะใช้ bibliometrics ประกอบการตัดสินใจ สาขามนุษยศาสตร์และสังคมศาสตร์ และสาขาคณิตศาสตร์ การใช้ bibliometrics อาจจะได้ผลไม่ดีนัก เนื่องจากฐานข้อมูลที่ใช้สืบค้นมักจะไม่ครอบคลุมเท่าที่ควร ในทางตรงข้าม สาขาชีววิทยาและสาขาการแพทย์ การใช้วิธีวัดเชิงปริมาณ โดยเฉพาะ Journal impact factor เป็นวิธีที่นิยมใช้มากในการประเมินนักวิจัยรายบุคคล
Strategies and recommendations
bibliometrics เป็นเครื่องมือที่เป็นประโยชน์ หากใช้โดยคณะกรรมการที่เป็นผู้เชี่ยวชาญที่มาจากหลากหลายสาขาวิชา และผู้ประเมินควรต้องรู้จักผู้ถูกประเมินมากเพียงพอก่อนเปรียบเทียบ และต้องเข้าใจความแตกต่างระหว่างสาขาวิชาด้วย และแนะนำว่าไม่ควรใช้ bibliometrics ในการคัดเลือกนักวิจัยรุ่นใหม่เข้าทำงาน และควรเลือกกลุ่มวิธี bibliometrics ให้เหมาะสมต่อวัตถุประสงค์ เช่น ใช้ประเมินผลงาน รับเข้าทำงาน เลื่อนตำแหน่งทางวิชาการ ให้ทุนวิจัย ให้รางวัลยกย่องเชิดชูเกียรติ เป็นต้น ไม่ควรนำไปใช้แบบคร่าวๆโดยผู้บริหารองค์กรที่ไม่มีความผู้เชี่ยวชาญในเรื่องนี้ เพราะถ้าใช้ผิดพลาดจะเกิดความเสียหายอย่างใหญ่หลวง ต้องระวังข้อผิดพลาดที่อาจจะเกิดขึ้นขณะสืบค้นฐานข้อมูล จากการสะกดชื่อสกุลของนักวิจัยไม่ถูกต้องหรือใช้ฐานข้อมูลที่ไม่สมบูรณ์ การรวบรวมจำนวนผลงานวิจัยควรสอบถามจากตัวนักวิจัยเอง และเลือกใช้ดัชนีที่นักวิจัยให้การยอมรับด้วย Sahel มีความเห็นว่า bibliometrics เป็นเครื่องมือหรือวิธีวัดสมรรถนะการวิจัยที่พบว่ามีข้อบกพร่องหลายประการ ดังนั้นจึงจำเป็นต้องใช้อย่างระมัดระวัง และควรแปรผลโดยกลุ่มผู้ทรงคุณวุฒิหรือผู้เชี่ยวชาญในสาขาวิชานั้นๆ
French Academy of Sciences ได้ทำการศึกษาข้อมูลต่างๆอย่างรอบด้าน เพื่อปรับปรุงวิธีการนำ bibliometrics มาใช้ให้เหมาะสมกับพฤติกรรมของนักวิจัย และเพื่อให้ได้วิธีประเมินที่มีประสิทธิภาพสูงสุด จึงเป็นที่มาของรายงาน On the proper use of bibliometrics to evaluate individual researchers ที่ได้นำเสนอต่อกระทรวงการอุดมศึกษาและวิจัย (Ministry of Higher Education and Research) ประเทศฝรั่งเศส เล่มนี้
รายการอ้างอิง :
Sahel, Jose-Alain. (2011). “Quality versus quantity: assessing individual research performance.” Science Translational Medicine. 3, 84: 84cm13.
Institut de France Academie des sciences. (2011). On the proper use of bibliometrics to evaluate individual researchers. Available at http://www.academie-sciences.fr/activite/rapport/avis170111gb.pdf
Mirror Site ที่ Gotoknow : http://www.gotoknow.org/blogs/posts/498316
Ruchareka's Blog 