我最近草拟了一份允许学生使用人工智能的评估。原意是让学生以运动科学原则分析运动相关动作和受伤机制,并使用人工智能产生初步解释、改善提示、比较输出和批判回应。
表面上,这似乎正是高等教育现在需要的评估。学生已经在使用人工智能,假装他们没有使用并不诚实;全面禁止也会错过教导批判和负责任使用的机会。但这份评估最后没有实行,原因是人工智能并不是这份评估原本要评估的内容。
这份评估本来是关于运动科学
这份评估的学科目的,是评估学生能否运用解剖学和生物力学原则分析正常人体动作、解释动作变化,并把运动科学应用于功能活动。
学生需要处理动作阶段、关节、平面、轴、肌肉活动、地面反作用力、重心、支撑面、组织负荷和受伤机制。当人工智能加入后,问题变得更复杂:我们是在评估运动科学,还是在评估人工智能素养?
建构性配合的问题
评估设计迫使我们问:我们实际上在量度什么?如果预期学习成果是运动科学推理,评估就应该让这种推理清楚呈现。
如果分数包括提示质量、人工智能批判或不同输出的比较,人工智能素养就成为被评估的能力之一。这并非错误,但必须是有意识的决定。在这份草稿中,人工智能既太重要而不能忽略,又未被正式纳入学习成果,令设计变得不稳定。
评估需要改变,但不能偶然改变
人工智能令传统评估假设变得脆弱。学生可以很快产生流畅的解释、摘要和草稿。漂亮的最终作品已不足以说明学生真正理解了什么。
但评估不应只是把人工智能加进原有任务。更深层的改变,是清楚说明评估重视什么:学科推理、专业判断、证据使用、沟通、人工智能素养、反思,还是问责。
公平性的问题
学生入学时的人工智能经验并不相同。如果评估在未正式教导前就奖励人工智能能力,它可能同时评估了学生过往的接触机会。
在健康专业教育中,使用聊天机器人并不等于能安全、批判和专业地使用人工智能。看起来更好的作品,不一定代表更好的临床或生物力学推理。
一个较好的版本
较好的版本可能把人工智能批判保留为形成性活动。学生可以比较较弱和较好的人工智能输出,指出缺失的运动科学推理,并把人工智能作为教学工具,而不是被评分的能力。
另一个版本,是正式把人工智能素养加入课程,清楚教导、订立标准,并透明地评估。也可以评估学生的推理历程:他们核实、拒绝和修订了什么,但评分重点仍放在学科推理,而不是提示技巧。
没有实行它让我学到什么
没有实行这份评估并不是失败。它令设计问题更清楚。更好的问题不是是否应该容许人工智能,而是评估想让什么能力变得可见。
如果目标是运动科学推理,人工智能不能遮盖这种推理。如果目标是人工智能素养,就必须把它作为独立能力来教导和评估。人工智能时代的评估必须因配合而改变,而不是因焦虑而改变。
尚未解决的问题
我们常说不能评估学生的人工智能使用,因为我们还不知道他们用得好不好。但教职员呢?
如果教职员要设计允许使用人工智能的评估、界定可接受使用,并判断何谓负责任使用,那么教职员的人工智能素养同样重要。这大概会是下一篇文章。