การประเมินสมรรถนะการวิจัยรายบุคคล : ปริมาณหรือคุณภาพ

บทความเกี่ยวกับวิธีการประเมินสมรรถนะการวิจัยของอาจารย์และนักวิจัยเป็นรายบุคคล ที่น่าสนใจเป็นรายงานของ French Academy of Sciences, Institut de France หรือสำนักวิทยาศาสตร์ ราชบัณฑิตสถาน ประเทศฝรั่งเศส มีชื่อว่า “On the proper use of bibliometrics to evaluate individual researchers.” พิมพ์เมื่อเดือนมกราคม ปี 2011 และได้สรุปใจความสำคัญตีพิมพ์ลงในวารสาร Science Translational Medicine ปี 2011 โดย Jose-Alain Sahel สาระสำคัญในรายงานดังกล่าว มีดังนี้

Balancing quality and quantity

การประเมินสมรรถนะการวิจัยของอาจารย์และนักวิจัย ควรที่จะคำนึงถึงทั้งเชิงคุณภาพและปริมาณ การประเมินในเชิงคุณภาพคือให้ผู้ทรงคุณวุฒิในสาขานั้นๆ เป็นผู้อ่านผลงานและพิจารณา เป็นวิธีที่ดีแต่บางครั้งอาจเกิดความลำเอียงและมีผลประโยชน์ทับซ้อนได้ รวมทั้งมีความยุ่งยากและใช้เวลานาน การประเมินในเชิงปริมาณโดยการใช้ publication metrics / citation metrics เป็นวิธีที่ง่ายและสะดวกรวดเร็วกว่า อย่างไรก็ตาม การวัดในเชิงปริมาณโดยใช้ metrics แต่เพียงอย่างเดียวนั้น ย่อมไม่มีประสิทธิภาพเพียงพอที่จะประเมินสมรรถนะของนักวิจัย จำเป็นต้องพิจารณาเกณฑ์หรือตัวชี้วัดอื่นๆประกอบด้วย เช่น ภาระด้านการสอน การเป็นพี่เลี้ยงนักวิจัย (mentoring) การสร้างความร่วมมือด้านการวิจัย จำนวนสิทธิบัตร การได้รับเชิญเป็น invited speaker หรือ reveiwer ของวารสาร การมีข้อตกลงความร่วมมือกับต่างประเทศ ความเป็นผู้มีชื่อเสียงและเกียรติยศที่โดดเด่น ความสามารถในการถ่ายทอดเทคโนโลยี เป็นต้น และที่ถูกต้องควรประเมินโดยใช้ทั้งสองวิธี คือ เชิงคุณภาพ (ผู้ทรงคุณวุฒิ) และเชิงปริมาณ (บรรณมิติ / bibliometrics) ควบคู่กัน

Bibliometrics: indicators or not?

การวัดผลผลิตงานวิจัยในเชิงปริมาณ มีดัชนีหลายตัวที่ได้รับความนิยมในปัจจุบัน ซึ่งจะมีทั้งข้อดีและข้อเสีย ได้แก่

ค่า Impact factor เริ่มใช้กันมาตั้งแต่ปี 1955 คำนวนจากจำนวนการอ้างอิงที่ได้รับในปีปัจจุบัน หารด้วยจำนวนบทความที่ตีพิมพ์ในวารสารนั้นในระยะเวลา 2 ปี แม้จะมีประโยชน์แต่ก็มีข้อถกเถียงกันมาก เนื่องจากมีความแตกต่างกันระหว่างสาขาวิชา โดยเฉลี่ยแล้ววารสาร basic sciences มักจะมีค่า impact factor สูงกว่าวารสาร applied sciences และค่า impact factor ของวารสารไม่ได้สะท้อนคุณภาพของแต่ละบทความที่ตีพิมพ์ลงในวารสารนั้นแต่อย่างใด บทความอาจมีจำนวนอ้างอิงที่สูงกว่าหรือต่ำกว่าค่า impact factor ก็ได้ อีกทั้งวิธีการคำนวณค่า impact factor นั้น นับรวมการอ้างอิงตนเอง (self-citations) เข้าไปด้วย อย่างไรก็ตาม ประเทศทางแถบยุโรปรวมทั้งฝรั่งเศส ยังคงนิยมใช้ค่า journal impact factor ในการประเมินคุณภาพการวิจัยเพื่อส่งเสริมความก้าวหน้าทางวิชาชีพของนักวิจัยรายบุคคล โดยเฉพาะในสาขาทางด้านชีววิทยาและการแพทย์

จำนวนการอ้างอิง (number of citations)

มีข้อจำกัดหลายประการ เช่น จำนวนการอ้างอิงที่ได้รับนั้นขึ้นอยู่กับคุณภาพของฐานข้อมูล (databases) ที่ใช้ในการตรวจวัด (แต่ละฐานข้อมูลอาจสืบค้นจำนวนการอ้างอิงได้ไม่เท่ากัน) และไม่ได้คำนึงถึงตำแหน่งของ authorship ที่ปรากฎในบทความว่าเป็นผู้วิจัยหลักหรือไม่ บางครั้งจำนวนการอ้างอิงที่ได้รับไม่ได้แปรตามคุณภาพของเนื้อหาทางวิชาการของบทความนั้น บทความที่ตีพิมพ์ในวารสารที่มีชื่อเสียงมักจะได้เปรียบวารสารอื่นและได้รับการอ้างอิงมากกว่าแม้บทความจะมีคุณภาพเท่าๆกัน และยังมีประเด็นทางด้านวัฒนธรรม เช่น นักวิจัยชาวอเมริกันมักอ้างอิงบทความที่เขียนเป็นภาษาอังกฤษโดยคนในประเทศเดียวกัน มากกว่าจะอ้างอิงบทความของคนประเทศอื่นและเขียนเป็นภาษาอื่น เช่น บทความภาษาฝรั่งเศสของนักวิจัยชาวฝรั่งเศส เป็นต้น นอกจากนั้น บทความปริทัศน์ (review article) มักได้รับการอ้างอิงสูงกว่าบทความวิจัยที่เป็นต้นฉบับ (original article) การนับจำนวนการอ้างอิงควรหลีกเลี่ยงไม่นับรวมการอ้างอิงบทความของตนเอง (self-citations) เพราะไม่สะท้อนถึงผลกระทบของผลงานวิจัยที่แท้จริง

ดัชนีชี้วัดชนิดใหม่ๆ เช่น h-index, g-index

ดัชนี h-index เริ่มใช้ตั้งแต่ปี 2005 ค่า h ของนักวิจัยหมายถึงจำนวนผลงานวิจัย h บทความ ที่ได้รับการอ้างอิง h ครั้งหรือมากกว่า ตัวอย่างเช่น นักวิจัยที่มีค่า h-index= 20 หมายถึง นักวิจัยท่านนั้นตีพิมพ์บทความหรือเป็นผู้แต่งร่วมจำนวน 20 บทความที่ได้รับการอ้างอิง 20 ครั้งหรือมากกว่า ค่า h-index มีประโยชน์มากในการวัดผลิตภาพ (productivity) ของนักวิจัย เนื่องจากเป็นการวัดผลงานวิจัยที่ตีพิมพ์ต่อเนื่องเป็นเวลาหลายปี และวัดจำนวนการอ้างอิงของแต่ละบทความซึ่งเป็นผลกระทบสะสม ดีกว่าการวัดด้วยเกณฑ์เดี่ยวๆ เช่น จำนวนบทความตีพิมพ์ทั้งหมด จำนวนการอ้างอิงทั้งหมด หรือจำนวนการอ้างอิงต่อบทความ อย่างไรก็ตาม h-index มีข้อเสีย คือ มีความแตกต่างระหว่างสาขาวิชา นักวิจัยสาขาวิทยาศาสตร์ชีวภาพมักมีค่า h-index ที่สูงกว่าสาขาฟิสิกส์ นักวิจัยที่อาวุโสจะได้เปรียบเพราะคำนวณจากผลงานวิจัยทั้งหมดที่สะสมมาตลอดอายุการทำงาน แม้ปัจจุบันจะเลิกทำวิจัยหรือเสียชีวิตไปแล้ว ฐานข้อมูลที่ให้บริการตรวจสอบค่า h-index เช่น web of science, scopus จะรายงานค่า h-index ของนักวิจัยได้ไม่เท่ากัน (เนื่องจากครอบคลุมวารสารไม่เท่ากัน)

จำนวนการอ้างอิงที่นับไม่ได้คำนึงถึงบริบทของการอ้างอิงแต่อย่างใด เช่น เป็น negative findings ค่า h-index จะขึ้นอยู่กับจำนวนรวมของผลงานวิจัยที่ตีพิมพ์ด้วย ดังนั้น นักวิจัยหน้าใหม่ที่เพิ่งเริ่มต้นวิชาชีพ รวมทั้งนักวิจัยที่ตีพิมพ์บทความจำนวนน้อยแต่เป็นบทความที่ได้รับการอ้างอิงมาก มักจะเสียเปรียบ นอกจากนั้น ค่า h-index เป็นการคำนวณจากบทความของนักวิจัยทุกเรื่องโดยไม่คำนึงถึงบทบาทของนักวิจัยในฐานะผู้แต่งหรือผู้แต่งร่วม และไม่คำนึงถึงผลกระทบหรือความสำคัญของบทความแต่อย่างใด ต่อมาเริ่มมีการปรับปรุงค่า h-index ให้ดีขึ้น เช่น ค่า hc-index หรือ contemporary h-index (Sidiropoulos, 2007) เริ่มคำนึงถึงอายุของบทความ โดยให้ค่าน้ำหนักบทความที่ตีพิมพ์ใหม่ มากกว่าบทความที่ตีพิมพ์มานาน เพื่อให้นักวิจัยรุ่นใหม่สามารถเปรียบเทียบกับนักวิจัยอาวุโสได้อย่างยุติธรรมมากขึ้น

ดัชนี g-index เริ่มใช้เมื่อปี 2006 เป็นการเพิ่มค่าน้ำหนักให้แก่บทความที่ได้รับการอ้างอิงสูง ค่า g-index หมายถึง the highest number g of papers that together received g2 or more citations เมื่อเรียงบทความตามลำดับจำนวนการอ้างอิงที่ได้รับจากสูงมาต่ำ

ตัวอย่างเช่น g-index=20 หมายถึง นักวิจัยท่านนั้นมี 20 บทความที่ได้รับการอ้างอิง 400 หรือมากกว่า จะเห็นว่าค่า g-index จะสูงกว่าค่า h-index ทำให้แยกความแตกต่างระหว่างสมรรถนะของนักวิจัยได้ง่ายกว่า

นักวิจัย A ตีพิมพ์ 10 บทความ ได้รับการอ้างอิงบทความละ 4 ครั้ง จะมีค่า h-index = 4 นักวิจัย B ตีพิมพ์ 10 บทความและมี 9 บทความที่ได้รับการอ้างอิงบทความละ 4 ครั้ง จะมีค่า h-index = 4 เช่นกัน โดยไม่สนใจว่าบทความที่ 10 จะได้รับการอ้างอิงกี่ครั้ง (อาจได้รับการอ้างอิง 0,1,2, หรือ 3 ครั้งก็ได้)

แต่ g-index สนใจจำนวนการอ้างอิง ถ้าบทความที่ 10 ได้รับการอ้างอิง 20 ครั้ง ค่า g-index ของนักวิจัย B จะเท่ากับ 6 แต่ถ้าบทความที่ 10 ได้รับการอ้างอิง 50 ครั้ง ค่า g-index ของนักวิจัย B จะเท่ากับ 9

Choosing an indicator

เนื่องจากไม่มีดัชนีใดที่จะใช้วัดสมรรถนะของนักวิจัยได้โดยลำพัง จึงต้องใช้ร่วมกันหลายตัว ทั้งจำนวนการอ้างอิงทั้งหมด ค่า h-index, g-index ค่า impact factor ของวารสาร และต้องคำนึงถึงสาขาวิชาหรือสาขาวิชาย่อยที่แตกต่างกัน และบทบาทของความเป็นผู้แต่งในกรณีของ multiple authorship ด้วย

การนำ bibliometrics ไปใช้ในแต่ละประเทศ มีบริบทที่แตกต่างกัน ประเทศแถบยุโรปอเมริกา ใช้ bibliometrics ในการประเมินมหาวิทยาลัยและสถาบันวิจัยแต่ในระดับบุคคลจะนิยมใช้การพิจารณาจากประวัติผลงาน (CV) การสัมภาษณ์ และจดหมายรับรองมากกว่า ในขณะที่ประเทศในแถบเอเชียและประเทศจีน นิยมใช้ bibliometrics ในการคัดเลือกนักวิจัยเข้าทำงานหรือเลื่อนผลงานทางวิชาการ แม้ว่าปัจจุบันอาจจะเริ่มพิจารณาจาก letter recommendation บ้างแล้ว ส่วนประเทศฝรั่งเศสนิยมใช้ bibliometrics ในการประเมินทั้งในระดับสถาบันและระดับบุคคล โดยเฉพาะในสาขาทางด้านชีวเวชศาสตร์

การประเมินผลงานวิจัยในแต่ละสาขาก็มีความแตกต่างกัน ทางด้านวิศวกรรมเครื่องกล คอมพิวเตอร์และคณิตศาสตร์ประยุกต์ ใช้การประเมินโดยผู้ทรงคุณวุฒิ ร่วมกับการพิจารณาจำนวนผลงานวิจัย จำนวนรางวัลที่ได้รับ การได้รับเชิญเป็นผู้บรรยายในการประชุมวิชาการ ซอฟแวร์ที่ประดิษฐ์ จำนวนสิทธิบัตร และข้อตกลงของการถ่ายทอดเทคโนโลยี อาจพิจารณาจากการเป็นผู้จัดงานประชุมวิชาการ หรือร่วมเป็นกองบรรณาธิการวารสารด้วย นักวิจัยรุ่นใหม่จะได้รับการประเมินโดยผู้เชี่ยวชาญจากการสัมภาษณ์หรือขณะบรรยายในงานสัมมนา ในสาขานี้การตีพิมพ์ในวารสารอาจไม่ใช่กระบวนการถ่ายทอดองค์ความรู้ระหว่างนักวิจัยที่สำคัญเท่าไรนัก ดังนั้นการใช้ metrics ในการประเมินผลงานอาจจะได้ผลไม่ค่อยถูกต้องครบถ้วน Bibliometrics อาจใช้สำหรับประกอบการตัดสินใจแต่ไม่ใช่วิธีหลักในการประเมิน

สำหรับสาขาฟิสิกส์ วิธีการประเมินแตกต่างกันไป โดยทั่วไปสำหรับนักวิจัยรุ่นอาวุโสจะใช้ทั้งเชิงปริมาณ (จำนวนผลงานวิจัย และ h-index) และเชิงคุณภาพ (การได้รับเชิญเป็น keynote speaker หรือ invited speaker หรือ mentoring programs) สาขา astrophysics นิยมใช้ bibliometrics ในการประเมิน การคัดเลือกเข้าทำงาน การเลื่อนระดับทางวิชาการ และการจัดสรรทุนสนับสนุนการวิจัย สาขาเคมี นิยมใช้ค่า h-index จำนวนการอ้างอิง จำนวนการอ้างอิงต่อบทความในการประเมินนักวิจัยรุ่นอาวุโสที่ทำงานนาน 10-12 ปี ส่วนนักวิจัยรุ่นใหม่จะใช้การสัมภาษณ์เพื่อดูความสามารถในการนำเสนอและการอภิปรายเนื้อหาทางวิชาการ และพิจารณาจำนวนผลงานวิจัยด้วยเช่นกัน อย่างไรก็ตาม คณะกรรมการสาขาเคมีแห่งชาติของประเทศฝรั่งเศส มักจะหลีกเลี่ยงการใช้ bibliometrics ในการประเมินคุณภาพผลงานวิจัยรายบุคคล

สาขาเศรษฐศาสตร์ การประเมินโดยผู้ทรงคุณวุฒิเป็นวิธีสำคัญที่สุดในการคัดเลือกเข้าทำงานและส่งเสริมความก้าวหน้าทางวิชาการ แต่จะใช้ bibliometrics ประกอบการตัดสินใจ สาขามนุษยศาสตร์และสังคมศาสตร์ และสาขาคณิตศาสตร์ การใช้ bibliometrics อาจจะได้ผลไม่ดีนัก เนื่องจากฐานข้อมูลที่ใช้สืบค้นมักจะไม่ครอบคลุมเท่าที่ควร ในทางตรงข้าม สาขาชีววิทยาและสาขาการแพทย์ การใช้วิธีวัดเชิงปริมาณ โดยเฉพาะ Journal impact factor เป็นวิธีที่นิยมใช้มากในการประเมินนักวิจัยรายบุคคล

Strategies and recommendations

bibliometrics เป็นเครื่องมือที่เป็นประโยชน์ หากใช้โดยคณะกรรมการที่เป็นผู้เชี่ยวชาญที่มาจากหลากหลายสาขาวิชา และผู้ประเมินควรต้องรู้จักผู้ถูกประเมินมากเพียงพอก่อนเปรียบเทียบ และต้องเข้าใจความแตกต่างระหว่างสาขาวิชาด้วย และแนะนำว่าไม่ควรใช้ bibliometrics ในการคัดเลือกนักวิจัยรุ่นใหม่เข้าทำงาน และควรเลือกกลุ่มวิธี bibliometrics ให้เหมาะสมต่อวัตถุประสงค์ เช่น ใช้ประเมินผลงาน รับเข้าทำงาน เลื่อนตำแหน่งทางวิชาการ ให้ทุนวิจัย ให้รางวัลยกย่องเชิดชูเกียรติ เป็นต้น ไม่ควรนำไปใช้แบบคร่าวๆโดยผู้บริหารองค์กรที่ไม่มีความผู้เชี่ยวชาญในเรื่องนี้ เพราะถ้าใช้ผิดพลาดจะเกิดความเสียหายอย่างใหญ่หลวง ต้องระวังข้อผิดพลาดที่อาจจะเกิดขึ้นขณะสืบค้นฐานข้อมูล จากการสะกดชื่อสกุลของนักวิจัยไม่ถูกต้องหรือใช้ฐานข้อมูลที่ไม่สมบูรณ์ การรวบรวมจำนวนผลงานวิจัยควรสอบถามจากตัวนักวิจัยเอง และเลือกใช้ดัชนีที่นักวิจัยให้การยอมรับด้วย Sahel มีความเห็นว่า bibliometrics เป็นเครื่องมือหรือวิธีวัดสมรรถนะการวิจัยที่พบว่ามีข้อบกพร่องหลายประการ ดังนั้นจึงจำเป็นต้องใช้อย่างระมัดระวัง และควรแปรผลโดยกลุ่มผู้ทรงคุณวุฒิหรือผู้เชี่ยวชาญในสาขาวิชานั้นๆ

French Academy of Sciences ได้ทำการศึกษาข้อมูลต่างๆอย่างรอบด้าน เพื่อปรับปรุงวิธีการนำ bibliometrics มาใช้ให้เหมาะสมกับพฤติกรรมของนักวิจัย และเพื่อให้ได้วิธีประเมินที่มีประสิทธิภาพสูงสุด จึงเป็นที่มาของรายงาน On the proper use of bibliometrics to evaluate individual researchers ที่ได้นำเสนอต่อกระทรวงการอุดมศึกษาและวิจัย (Ministry of Higher Education and Research) ประเทศฝรั่งเศส เล่มนี้

รายการอ้างอิง :
Sahel, Jose-Alain. (2011). “Quality versus quantity: assessing individual research performance.” Science Translational Medicine. 3, 84: 84cm13.
Institut de France Academie des sciences. (2011). On the proper use of bibliometrics to evaluate individual researchers. Available at http://www.academie-sciences.fr/activite/rapport/avis170111gb.pdf

Mirror Site ที่ Gotoknow : http://www.gotoknow.org/blogs/posts/498316

Advertisements

Information Scattering

Information scattering เป็นปรากฎการณ์ที่พบบ่อย เวลาเราค้นหาบทความวิจัยจากวารสารหรือค้นข้อมูลจากเว็บไซต์ มักพบว่ามีแหล่งข้อมูลจำนวนไม่มากนัก ที่มีข้อมูลซึ่งตรงกับความต้องการอยู่เป็นจำนวนมาก ในขณะที่แหล่งข้อมูลส่วนใหญ่ มักมีข้อมูลที่ตรงความต้องการจำนวนน้อย

ปรากฎการณ์นี้รายงานเป็นครั้งแรกโดย Bradford เมื่อปี 1934 (เป็นที่มาของการมีวารสารหลักหรือ core journals จำนวนไม่มากนักในแต่ละสาขาวิชา) ต่อมาได้กลายเป็นทฤษฎี classic ที่มีชื่่อว่า Bradford’s law of scattering หรือ Bradford Distribution นอกจากนั้นยังทฤษฎีอื่นที่คล้ายๆ กันคือ Zipf’s Law และ Lotka’s Law ซึ่งถือว่าเป็นต้นกำเนิดของ bibliometric laws [ ถ้าสนใจเรื่องนี้ อ่านรายละเอียดได้ที่ http://www.garfield.library.upenn.edu/essays/v4p476y1979-80.pdf ]

ในปัจจุบันวิธีการวัด Information Scattering ในเชิงปริมาณ นอกเหนือจาก Frequency Distribution, Coverage analyses แล้ว ยังนิยมใช้ Network visualizations and analysis ในการวัด information scattering on the web ด้วย ผู้เชี่ยวชาญในเรื่องนี้ ได้แก่ Suresh K. Bhavnani ซึ่งเป็นผู้เชี่ยวชาญด้าน bioinformatics / visualization and analysis of biomedical data.

อ้างอิง : Bhavnani, S.K., Wilson, C. Information Scattering. Encyclopedia of Library and Information Science (2010), 2564-2569.

งานวิจัยทางด้าน Bibliometrics และการวิเคราะห์เนื้อหา

Bibliometrics หรือบรรณมิติ คือระเบียบวิธีวิจัยที่ใช้การวิเคราะห์เชิงปริมาณ โดยนำคณิตศาสตร์และสถิติมาประยุกต์ใช้ในการวัดและประเมินผลงานตีพิมพ์ โดยเฉพาะการวัดจำนวนผลงานวิจัยและจำนวนการอ้างอิงผลงานวิจัย

นอกจากคำว่่า bibliometrics แล้ว ยังมีคำอื่นๆ ที่คล้ายๆกัน เช่น scientometrics (วัดผลงานทางวิทยาศาสตร์) infometrics (วัดสารสนเทศสาขาต่างๆ) webometrics (วัดเว็บไซต์) และ cybermetrics (วัดผลงานวิจัยและการสื่อสารทางวิชาการบนอินเทอร์เน็ต) ผลจากการวิเคราะห์ bibliometric analysis นั้น สามารถนำมาประยุกต์ใช้ในการประเมินคุณภาพผลงานวิจัย กำหนดนโยบายบริหารจัดการงานวิจัย รวมทั้งประเมินและจัดอันดับมหาวิทยาลัยได้

กฎหรือทฤษฎีที่สำคัญ

  1. Lotka’s Law กฎเกี่ยวกับความถี่ในการผลิตบทความของผู้แต่งในสาขาใดสาขาหนึ่ง
  2. Bradford’s Law กฎเกี่ยวกับความถี่ของการกระจายของบทความวารสาร
  3. Zipf’s Law กฎเกี่ยวกับการจัดลำดับความถี่ของคำที่พบในเอกสาร
  4. Journal Impact Factor ค่าดัชนีผลกระทบการอ้างอิงวารสาร
  5. H index ค่าที่แสดงความสัมพันธ์ ระหว่างจำนวนการอ้างถึง กับลำดับของบทความที่ถูกอ้างถึง

แนวโน้มของประเด็นวิจัยทางด้าน Bibliometrics

  • การสร้างเกณฑ์หรือสูตรคำนวณดัชนีชี้วัดแบบใหม่ เพื่อประเมินคุณภาพผลงานวิจัยและนักวิจัย ทั้งในเชิงคุณภาพและปริมาณ
  • การสร้างเกณฑ์วัดผลงานวิจัย เฉพาะสาขาวิชา ให้เหมาะกับบริบทของภูมิภาค (เกณฑ์ที่ใช้ในปัจจุบัน ส่วนใหญ่เหมาะสำหรับประเทศที่พัฒนาแล้ว)
  • การประเมินเชิงคุณภาพอื่นๆ ร่วมด้วย นอกเหนือจากการวัดจำนวนผลงานวิจัยและจำนวนการอ้างอิง

อ่านรายละเอียดเพิ่มเติม

การวิเคราะห์เนื้อหา (Content analaysis)
เป็นการวิเคราะห์เชิงคุณภาพ เน้นไปที่การอ่านและตีความ มากกว่าจะนับจำนวนตัวเลข เน้นอัตวิสัย (subjectivity) มากกว่าวัตถุวิสัย (objectivity) มีความยืดหยุ่นในด้านกระบวนการมากกว่าผลลัพธ์ อาจใช้ร่วมกันกับการวิเคราห์ Bibliometric Analysis และ Citation Analysis ซึ่งเป็นการวิเคราะห์เชิงปริมาณ

Journal & Bibliometric Workshop (ตอน 2)

ศุกร์ที่ 23 กรกฎาคม 2553 Journal & Bibliometric Workshop 2010 ที่ สกว. จัดขึ้น ช่วงบ่ายเป็นการบรรยายของคุณ Nobuko Miyairi ซึ่งเป็นอดีตบรรณารักษ์ที่กรุงโตเกียว ปัจจุบันดูแลเรื่อง Bibliometrics ให้บริษัท Thomson .. พูดภาษาอังกฤษได้ดีมาก เนื้อหาเป็นเรื่องเกี่ยวกับ “The use of citation data as a guide to evaluating research performance” เธออธิบายว่า Science เป็น group activity เป็น collaboration ระหว่างนักวิจัย แถมเดี๋ยวนี้มี collaboration กันขนานใหญ่ ยกตัวอย่างเช่น paper ในฐานข้อมูล WOS เรื่อง “A second generation human haplotype map of over 3.1 million SNPs” มีผู้แต่งร่วมมากถึง 168 คน จาก 67 สถาบัน 8 ประเทศ (นี่ขนาด paper เดียวนะ !) นอกจากนั้น การอ้างอิง (citation) ยังถือว่าเป็นความร่วมมือแบบ indirect collaboration ด้วยเช่นกัน

แน่นอน การบรรยายของบริษัท Thomson Reuters ทุกครั้ง จะต้องมีการกล่าวขวัญถึงเจ้าพ่อ ISI .. Dr. Eugene Garfield กฎ Bradford’s law และ Garfield’s Law of Concentration ซึ่งอธิบายว่า วารสารจำนวนมากมักมี overlap กันระหว่างสาขาวิชา แต่จะมี core journals อยู่เพียงจำนวนหนึ่งเท่านั้น .. citation index จะเป็นตัวบ่งบอกว่าวารสารใดเป็น core journals ของสาขานั้นๆ core journals จะเป็นวารสารที่มีความสำคัญและมีอิทธิพลต่อสาขามาก ดังนั้น การที่เราให้ความสนใจวารสารที่เป็น core journals จะทำให้เราอ่านและตีพิมพ์ได้อย่างชาญฉลาดมากขึ้น

Bibliometrics คืออะไร ?
มีคำ 2-3 คำ ที่เกี่ยวข้องกับเรื่อง “การวัด” ได้แก่ Scientometrics, Infometrics, Webometrics, และ Bibliometrics โดยทั่วไป Bibliometrics จะเป็นการวัดและเปรียบเทียบโดยใช้จำนวนผลงานวิจัย (number of publications) และจำนวนการอ้างอิง (citation impact) ค่าเฉลี่ยจำนวนการอ้างอิงต่อหนึ่งบทความ (relative impact) เป็นหลัก และเป็นเครื่องมือที่ใช้ประกอบการบริหารงานวิจัย

Bibliometric indicators do not choose the conclusion. Set the objective and what to measure, then choose indicators to verify it.

หมายความว่า อย่าด่วนสรุปว่าใครเก่งกว่าใคร โดยใช้การวัด bibliometrics เพียงอย่างเดียว .. ที่จริงแล้วต้องใช้ทั้งสองอย่างร่วมกัน .. คือ peer review (การประเมินเชิงคุณภาพ) และ bibliometrics (การวัดเชิงปริมาณ) และพึงจำไว้เสมอว่า ความเป็นเลิศด้านการวิจัยนั้น เป็นเรื่องของคุณภาพ ไม่ใช่ปริมาณ

Goodhart’s Law (1975)

“Once a social or economic indicator or other surrogate measure is made a target for the purpose of conducting social or economic policy and control, then it will lose the
information content that would qualify it to play such a role
.”

ประโยคเด็ดของ Albert Einstein
“Not everything that counts can be counted,
and not everything that can be counted counts.”

ประโยคนี้ก็ดี .. เป้าหมายของวิทยาศาสตร์ คือการค้นพบสิ่งใหม่ ไม่ใช่การชนะรางวัล

[ สไลด์ประกอบการบรรยายของคุณ Nobuko สามารถ download ได้ที่เว็บไซต์ของ สกว. ค่ะ http://www.trf.or.th ]

Journal & Bibliometric Workshop โดย Thomson Reuters

ศุกร์ที่ 23 กรกฎาคม 2553 ได้มีโอกาสไปฟังบรรยาย Journal & Bibliometric Workshop 2010 ที่ สกว. จัดขึ้น และมีวิทยากรจากบริษัท Thomson Reuters มาบรรยาย 2 คน ช่วงเช้าคือ Dr.Lim Khee Hiang และช่วงบ่าย Ms. Nobuko Miyairi ผู้ฟังมีแต่ Big Big ในวงการทั้งนั้น เต็มห้องประชุม … เนื้อหาที่บรรยาย ทำให้ได้แนวคิดดีเหมือนกัน เล่าให้ฟังโดยสรุปก็แล้วกันนะ

เรื่องที่1 คือ “Web of Science- using it for Smart Discovery” โดย Dr.Lim Khee Hiang ซึ่งแนะนำ product ของบริษัท Thomson Reuters อย่างครบวงจร ฐานข้อมูล WOS แบบ full option สามารถค้นย้อนหลังไปถึงปี 1900 มากกว่า 110 ปี ! (แต่ในบ้านเรา ที่ สกอ. บอกรับ ค้นย้อนหลังได้แค่ปี 2001 เท่านั้นนะ) มีวารสารรวม 11,488 ชื่อ 250 สาขาวิชา มากกว่า 46 ล้าน records วิธีการค้นข้อมูลปริมาณมหาศาลแบบนี้ Dr. Khee ใช้สโลแกนว่า “stop searching, start discovering” หมายถึง ถ้าจะค้นให้มีประสิทธิภาพ ต้องไม่ใช้คำค้น (keywords) แต่ใช้ citations แทน .. คือดู cited references, times cited และ related records สำหรับวิธีการค้นมีทั้ง citation search, citation reports และ citation map (ซึ่งใช้หลักการของ visualization)

ใน slide ที่ Dr. Khee เตรียมมา เป็นตัวอย่างของการค้นฐานข้อมูล web of science ด้วยคำว่า Thailand เนื่องจากย้อนหลังไปได้ถึง 110 ปี (เราค้นเองคงไม่ได้) ได้คำตอบออกมา = 57,623 records .. ไม่เบาเหมือนกันนะประเทศไทย

ถ้าจะพูดถึงประวัติศาสตร์ ต้นกำเนิดของ citation index ก็คงต้องอ้างอิงบทความของผู้ก่อตั้ง ISI นั่นคือ Dr. Eugene Garfield ซึ่งเป็นกูรูเรื่องนี้มานานกว่า 50 ปี (ก่อนที่ ISI จะถูกบริษัท Thomson Reuters ซื้อไป) … Garfield, E. “Citation indexes for science: A new dimension in documentation through association of ideas.” Science, 122 (3159), p.108-111, July 1955.

วิธีการคัดเลือกวารสารเข้าฐานข้อมูล Web of Science ซึ่งมหาโหด ยังคงยึดหลักการดั้งเดิม คือ Bradford’s Law นั้นคือ เชื่อว่า Small number of journals publish the bulk of
significant scientific results. (เป็นคำอธิบายว่าทำไม Web of Science สาขาวิทยาศาสตร์ จึงมีวารสารเพียงแค่ 7,000 กว่าชื่อเท่านั้น) ส่วนกฎเหล็กในการคัดเลือกวารสาร มี 4 ข้อ คือ

  1. Basic Journal Publishing Standards
    • Timeliness of publications
    • Editorial Conventions
    • English Language Bibliographic Information
    • Peer Review
  2. Editorial Content
  3. International Diversity of Authorship
  4. Citation Analysis

นอกจาก Web of Science แล้วยังพูดถึง products อีก 3 ตัว คือ EndNoteWeb ช่วยในการจัดการบรรณานุกรมเวลาเตรียมเขียนบทความ Journal Citation Reports (JCR) ช่วยในการเลือกวารสารที่จะตีพิมพ์ และ ResearcherID ซึ่งเป็น Social network สำหรับนักวิจัย เป็นการเพิ่ม visibility และเป็นหนทางของการเพิ่มจำนวน citations … ทำแบบครบวงจรเลย

[ สไลด์ประกอบการบรรยายของ Dr. Khee สามารถ download ได้ที่เว็บไซต์ของ สกว. ค่ะ http://www.trf.or.th ]