我最近草擬了一份允許學生使用人工智能的評估。原意是讓學生以運動科學原則分析運動相關動作和受傷機制,並使用人工智能產生初步解釋、改善提示、比較輸出和批判回應。

表面上,這似乎正是高等教育現在需要的評估。學生已經在使用人工智能,假裝他們沒有使用並不誠實;全面禁止也會錯過教導批判和負責任使用的機會。但這份評估最後沒有實行,原因是人工智能並不是這份評估原本要評估的內容。

這份評估本來是關於運動科學

這份評估的學科目的,是評估學生能否運用解剖學和生物力學原則分析正常人體動作、解釋動作變化,並把運動科學應用於功能活動。

學生需要處理動作階段、關節、平面、軸、肌肉活動、地面反作用力、重心、支撐面、組織負荷和受傷機制。當人工智能加入後,問題變得更複雜:我們是在評估運動科學,還是在評估人工智能素養?

建構性配合的問題

評估設計迫使我們問:我們實際上在量度甚麼?如果預期學習成果是運動科學推理,評估就應該讓這種推理清楚呈現。

如果分數包括提示質素、人工智能批判或不同輸出的比較,人工智能素養就成為被評估的能力之一。這並非錯誤,但必須是有意識的決定。在這份草稿中,人工智能既太重要而不能忽略,又未被正式納入學習成果,令設計變得不穩定。

評估需要改變,但不能偶然改變

人工智能令傳統評估假設變得脆弱。學生可以很快產生流暢的解釋、摘要和草稿。漂亮的最終作品已不足以說明學生真正理解了甚麼。

但評估不應只是把人工智能加進原有任務。更深層的改變,是清楚說明評估重視甚麼:學科推理、專業判斷、證據使用、溝通、人工智能素養、反思,還是問責。

公平性的問題

學生入學時的人工智能經驗並不相同。如果評估在未正式教導前就獎勵人工智能能力,它可能同時評估了學生過往的接觸機會。

在健康專業教育中,使用聊天機械人並不等於能安全、批判和專業地使用人工智能。看起來更好的作品,不一定代表更好的臨床或生物力學推理。

一個較好的版本

較好的版本可能把人工智能批判保留為形成性活動。學生可以比較較弱和較好的人工智能輸出,指出缺失的運動科學推理,並把人工智能作為教學工具,而不是被評分的能力。

另一個版本,是正式把人工智能素養加入課程,清楚教導、訂立標準,並透明地評估。也可以評估學生的推理歷程:他們核實、拒絕和修訂了甚麼,但評分重點仍放在學科推理,而不是提示技巧。

沒有實行它讓我學到甚麼

沒有實行這份評估並不是失敗。它令設計問題更清楚。更好的問題不是是否應該容許人工智能,而是評估想讓甚麼能力變得可見。

如果目標是運動科學推理,人工智能不能遮蓋這種推理。如果目標是人工智能素養,就必須把它作為獨立能力來教導和評估。人工智能時代的評估必須因配合而改變,而不是因焦慮而改變。

尚未解決的問題

我們常說不能評估學生的人工智能使用,因為我們還不知道他們用得好不好。但教職員呢?

如果教職員要設計允許使用人工智能的評估、界定可接受使用,並判斷何謂負責任使用,那麼教職員的人工智能素養同樣重要。這大概會是下一篇文章。