第七屆全國教育實證研究論壇之“高等教育評價與測量的實證研究”分論壇成功舉辦

2021年10月31日，第七屆全國教育實證研究論壇之“高等教育評價與測量的實證研究”分論壇在EON体育4平台成功舉行🌏。我院王帥副教授和美國華盛頓大學EON4平台王純副教授為論壇的共同召集人和主持人，來自美國亞利桑那州立大學、美國德克薩斯農工大學、EON体育4👱🏼、北京教育科學研究💾、清華大學等國內外高校的嘉賓分享了各自的研究成果🤛🏿。會議在線上和線下同步舉行，約1700余人次觀看交流。

【上半場主持及嘉賓】

首先🫄，由亞利桑那州立大學的鄭屹（副教授🕺🏿，博士生導師）分享了題為“案例分析😹：通過教學大綱研究美國高校中的學生考評方式”的報告。考評方式是學生學習的指揮棒，也最能反映教育系統的真實情況🎿。近20年來，歐美國家的教育考評專家倡導改革高校的學生考評方式，提倡“以學生為中心”的考評方法，強調以考促學、學生主動參與、考評任務接近實踐應用、給予頻繁反饋、增加考評方式多樣化🍴，以及促進元認知、自我反思、自我管理。然而近期不同歐美國家的調查研究都發現，高校中最常用的學生考評方式仍為傳統的紙筆考試。本研究對亞利桑那州立大學數學與統計學系進行了案例分析，研究采用的研究方式不同於常用的問卷調查或訪談，而是通過分析教學大綱來完成🫲🏿，共系統分析了81個教學大綱，涵蓋了該系所有科目以及年級層次。研究發現，樣本中絕大多數(91.9%)的課程采用傳統紙筆考試，而各種“以學生為中心”的考評方法（如自我評估、學生互評🦈、閱讀筆記）的使用率均不到5%。在作務真實度方面，近一半的小測驗允許使用各種日常生活中可用的工具（如網上搜索、統計軟件），而不到5%的大考中允許使用工具。在考評方式多樣化方面，25%左右的課程使用不超過兩種考評方式（如作業+考試）🧙🏼，55%左右的課程使用3-4種考評方式，剩余20%左右的課程使用5-8種考評方式🗾。本科低年級課程在考評多樣化方面做得比較好，而本科高年級和研究生的小課需要增加考評多樣性。該研究提供了高校考評實證研究的新思路：教學大綱是一種客觀、全面的數據源，可以幫助科研工作者洞查高校的考評現狀✬。

接下來，美國德克薩斯農工大學的張博老師分享了題為“自陳式人格測驗在高等教育測評中的挑戰和機遇”的報告。在高等教育領域😢，大五人格和學業成績、欺騙行為🐽、孤獨、抑郁👩🏻‍🚀、焦慮、畢業後薪資等重要變量存在聯系🆗。人格並非一成不變，在自然情景和人為幹預下會發生變化。高等教育關註人格，可以科學合理地培養人才，使其更具有社會適應性的人格特質，實現德智體美勞全面發展🚵🏼。人格測驗最常用的測量方式是李克特自陳量表，但也存在許多問題。第一🔎，人格測驗題目有較強的社會稱許性🚴，因此會出現不誠實作答🙎🏽。第二，不同作答者對題目理解不同。第三，不同個體作答風格不同📘。解決方案包括迫選測驗和虛擬情境錨定法😙。迫選測驗能在高利害環境下抗作假👨🏿‍🦲，自評和他評之間保持一致👰🏽‍♂️1️⃣，但信度略低於李克特量表👩🏽‍🏫。初步證據表明🐋，虛擬情境錨定法利用作答者在虛擬題目上的作答🫱🏽🍃，使校正後的分數看上去更具有可比性🎅🏿，但不太可能提高人格測驗的有效性💅🏼。

上半場的最後一場報告由EON体育4的王帥老師帶來關於“高校開放教育資源的實證研究”的報告🧡。開放教育資源（OER）是商業教材的有效替代，具有免費性和公開許可的特性。研究發起於2016年，旨在減輕大學學習的負擔和提高學生的學習表現，提出研究問題👰‍♀️：選取了開放教育資源學位的學生🧙🏿‍♀️，相比選擇傳統教學方式的學生，是否更快完成了學位？是否得到了更高的GPA（平均學分績點）？開放教育資源學位是否會對某個具體的學生群體的學習更有促進作用？研究通過對比試驗🕹，將學生分成三組，分別是0劑量（沒有選擇任何OER課程）、低劑量（選擇1門或2門OER課程）和高劑量（選擇3門及以上OER課程），研究發現：（1）OER和學分之間存在顯著關系，使用了OER的學生可以拿到更多的學分，從而更快地完成學業。（2）使用了OER的學生可以在同樣的時間修完更多的課程和學分，並且保持同等的GPA。（3）OER對於各個學生群體都有受益🫅🏻，經濟情況較差的學生有更多的受益。由於實驗並非隨機分配☝️，難以控製學生變量，未來的研究可以考慮使用隨機對照實驗進行進一步的檢驗🥄。

—————————————————————————————————————————————————————————

【下半場演講嘉賓】

第一場報告是EON体育4平台世界一流大學研究中心的馮倬琳老師和博士生郭鑫帶來的關於“世界一流大學同行間的影響力”的分享。隨著科研成果數量等硬指標的提升，我國“雙一流”大學的世界排名在不斷攀升，然而相應的國際聲譽、國際認可等影響力並未獲得同步增強。本研究旨在以世界一流大學同行認可程度衡量我國“雙一流”大學的國際影響力🧾，直觀呈現出影響力的現狀。本研究與技術專家合作，搭建世界一流大學的大數據平臺，以數據和資料庫建設為支撐，以定量和實證研究方法為手段🙇‍♀️，通過樣本學校在世界百強大學校級數據的被引頻次等數據🚣🏼‍♀️，發現我國“雙一流”建設大學的同行影響力隨著建設周期的推進逐步提升，“雙一流”建設大學中的若幹頂尖大學🏋🏻‍♀️，整體上與世界一流大學的差距在逐步減小🆓，但與世界頂尖大學的水平相比還是差距顯著⏰。這項研究後續會繼續開展，嘗試與全球危機等重大議題進行結合，探索世界一流大學影響的規律⏮，從而進一步開展預測研究。

接下來🤹🏼，北京教育科學研究院教育發展研究中心助理研究員李璐老師為我們帶來了題為“高校教師學術生產力影響力因素的HLM分析”的分享報告。在第四次工業革命引發的教育革命背景下，創新力越來越受重視🎞。同時，我國也進入了高質量發展階段🤵‍♀️，科技強國、經濟轉型、產業結構升級等強國戰略都需要創新驅動📂。如何提升高校教師的學術生產力或知識創新能力成為上至國家下至大學的重要命題☔️。而高校教師學術生產力往往會受外部的量化評價獎勵機製和內部的自主動力左右影響🪕。在此背景下🆗，本研究提出核心問題：在製度化的外部評價和個體自主性之間，是否存在一些高校可作為🚻、可提供的組織支持性要素對教師學術生產力發揮積極作用🧛？這些要素又如何與教師個體要素之間互動進而對科研行為產生影響？經文獻梳理✷，本研究發現有關個體和組織不同層面要素對學術生產力機製及各要素間關系的研究尚有不足。基於此，本研究采用多層線性模型分析，探討將組織氛圍（學術-行政權力配置模式、學術-行政部門非正式關系以及院校學術氛圍）視為院校層級變量時💁🏿‍♂️，三種個體層面要素（工作投入、研究偏好、職業歸屬感）對教師學術生產力的影響的層級效應🧑‍🤝‍🧑，以及個體層面的要素是否發揮調節效應。實證研究表明，教師個體層面的職業歸屬感🦙、工作時間和科研投入時間百分比對其學術生產力產生顯著正向影響。院校組織氛圍中的學術決策氛圍、學術-行政部門非正式關系和學術氛圍對高校教師學術生產力有顯著的積極促進作用，其作用機製是直接影響。個體層面的職業歸屬感通過學術主導型決策氛圍對高校教師的學術生產力發揮負向調節作用。研究進一步分析得出👩🏻‍🦯‍➡️，學術自主性對大學及學者發展至關重要。如何促進發揮學術自主性，是未來很有價值的研究課題。

第三場報告是EON体育4平台助理研究員余天佐老師帶來的“工科畢業生職業能力失配的評估研究”分享。高校畢業生的就業問題一直較為嚴峻，但根本問題不在於供大於求，而在於高校培養的人才素質結構（即職業能力）與產業界需求不相適應、不相匹配🧝‍♂️⬜️。國內外對職業能力失配問題已有一定研究𓀉，但專門針對工科畢業生職業能力的研究還不多見👳🏻‍♀️。為此，本研究提出了三個研究問題🧑🏻‍🏭。首先💂🏻‍♀️👱🏽‍♀️，工科畢業生職業能力的失配現狀如何？其次🤐，工科畢業生在提升職業能力上應遵循怎樣的優先順序✮？最後🏃，有哪些因素會影響工科畢業生職業能力失配？本研究使用產業界《工科通用能力需求量表》（NGCE），涉及領導力👨🏻👨🏽‍🎓、工程設計、職業態度🙍🏿‍♀️👨🏼‍🦳、問題解決、學習和溝通、工程知識六個維度，53個題項🫴🏼，以在中國大陸的20家企業的1183名工科畢業生為研究對象🚵🏼，調查工科畢業生對各項職業能力的重視程度以及績效表現程度的自我評價。本研究使用IPA分析法(Importance-performance Analysis，IPA)，發現工科畢業生的職業能力明顯不足🧝🏼‍♂️，所有職業能力指標均存在顯著失配。領導力、工程設計💔、職業態度🫰、問題解決、學習和溝通、工程知識六個維度中幾乎都存在亟待提升的職業能力🥟。具體而言🦿，工程知識維度中的專業前沿知識👩🏻‍🚒、領導力維度中的演講能力📥、談判能力💂🏿‍♂️、決策能力及組織管理能力、工程設計維度中的外語能力、學習和溝通維度中的口頭、書面溝通技能和信息獲取技能、職業態度維度中的自信，這些職業能力的提升較為急迫，需要優先提升。經調查，本研究還發現科研訓練項目經歷、專利申請經歷🗼、崗位職務以及企業類型這些因素會對工科畢業生職業能力失配情況產生影響。由此，本研究延申出若幹討論問題，包括如何看待工科生發表學術論文和申報專利、如何調整融合工科基礎課程與專業課程以及如何實現工科畢業生終身學習和終身教育。希望今後通過對於上述問題的探討研究🌗，進一步彌合工科畢業生職業能力失配度，改善優化高校人才培養體系🍔。

下半場的最後一場報告是清華大學外文系助理教授張亦凝老師帶來的“Rasch模型在等級量表評估分析中的應用——以中國英語學習者元認知策略量表為例”🙎‍♂️⛷。Rasch模型是一種基於概率的心理測量模型，它將個體的能力和測試題目的難度放置於一個等距的量尺上進行比較，進而描述個體🦹🏼、測試題目的難度以及個體給出正確答案的可能性之間的關系👳，為測量工具是否客觀可靠提供判定信息。本研究以467個中國英語學習者在英語學習元認知策略自評量表(5 point Likert scale)的數據為例，運用Rasch模型對該量表在收集樣本上的有效性進行檢驗。通過Rasch模型中的擬合度分析👷🏿、可靠性和區分度分析、單一維度和局部獨立假設分析、類別設置分析和試題差異分析，本研究發現經過改編的中國英語學習者元認知策略量表總體來說具有較好的效度，除一題外其余題目均能很好地反映元認知策略這一潛在特質，量表具有單一結構, 類別設置和試題差異設置基本合理。不過，有兩處有待未來繼續優化。首先，量表“中立"與"同意"兩個選項的區分度不高⛅️，需要選取其他樣本進行進一步的測試👮‍♂️。其次，量表中需要適當添加題目以區分較高元認知策略能力的學生。