教育人工智能伦理：内涵框架、认知现状与风险规避
胡小勇黄婕林梓柔黄漫婷
摘要：人工智能在赋能教育高速发展的同时，也面临着严峻的伦理挑战。厘清教育人工智能伦理的内涵框架，刻画当代大学生伦理认知的现状，进而提炼可行的风险规避策略，成为重要的研究问题。基于对国家政策和国内外文献的研读，运用德尔菲法经两轮修订和完善，最终确定的教育人工智能伦理内涵框架包括“人机协同与自立自主”“学生福祉与发展”“公平与持续发展”“安全与可控可信”4个一级维度和12个二级维度。以此为基础编制问卷并进行调查分析的结果表明，大学生对教育人工智能伦理的认知存在不均衡现象，在“公平与持续发展”“安全与可控可信”两个维度上得分较低，且学历层次、年级以及对人工智能的了解程度等均对大学生的教育人工智能伦理认知产生了显著影响。当前教育人工智能伦理建设存在缺乏精准的规范与指引、人文关怀与价值引领缺位、技术自身存在局限、学习资源建设粗放等难题，未来可采取树立以立德树人为核心价值导向的教育人工智能伦理建设原则、编制教育人工智能伦理规范指南、提升教师智能教育素养水平、以智能技术反向赋能伦理建设，以及建设公益性学习资源等策略来规避风险。唯有将伦理规范嵌入到教育人工智能全生命周期，才能更好地构建新型智能教育生态。
关键词：教育人工智能;伦理内涵;伦理认知;伦理风险;德尔菲法
中图分类号：G434 文献标识码：A 文章编号：1009-5195（2022）02-0021-09 doi10.3969/j.issn.1009-5195.2022.02.003
基金项目：2019年度国家社科基金重大项目“人工智能促进未来教育发展研究”（19ZDA364）;2022年广东省科技创新战略专项资金（“攀登计划”专项资金）“面向大学生的教育人工智能伦理内涵与风险规避对策研究”（pdjh2022b0146）。
作者简介：胡小勇，博士，教授，博士生导师，华南师范大学教育人工智能研究院，华南师范大学教育信息技术学院（广东广州510631）;黄婕，硕士研究生，华南师范大学教育信息技术学院（广东广州510631）;林梓柔（通讯作者），博士研究生，华东师范大学教育信息技术学系（上海200062）;黄漫婷，硕士研究生，华南师范大学教育信息技术学院（广东广州510631）。
一、引言
如果人工智能变得太聪明，做出超出人类思维能力的决策怎么办？美国前国务卿亨利·基辛格（HenryKissinger）在《启蒙如何终结》中提出警告，“技术革命的秩序动荡不安，我们最终将处于依据算法和数据驱动、不受伦理道德规范的机器世界”（Kissinger，2018）。伴随人工智能在教育领域中的规模化应用，诸如教育隐私数据泄露、算法歧视与不透明、教育主体情感交流危机等伦理风险已经引起世界各国关注。美国与英国分别颁布《为人工智能的未来做好准备》和《人工智能：未来决策制定的机遇与影响》政策文件，为人工智能的发展和应用提供了路径指引。我国也陆续出台了《新一代人工智能治理原则——发展负责任的人工智能》和《新一代人工智能伦理规范》（以下简称《伦理规范》）等政策文件，对人工智能发展和应用中的伦理问题进行了规范指引。为推动人工智能在教育领域的健康发展，联合国教科文组织（UNESCO）亦研制了《教育中的人工智能：可持续发展的机遇与挑战》和《北京共识——人工智能与教育》（以下简称《北京共识》）等报告，呼吁和引领人工智能教育应用的健康且可持续发展。
在此背景下，国内已有学者对教育人工智能的伦理内涵与特征（赵磊磊等，2021）、伦理原则（邓国民等，2020）、伦理风险规避的有效路径（于英姿等，2020）等进行了有益研讨。这些研究偏向于宏观的思辨探讨，尚未有研究聚焦可操作、量化的教育人工智能伦理内涵分析和实践调研。大学生处于更加自由、弹性和泛在化的学习环境中，既是使用人工智能的重要群体，亦是重要的利益相关者，他们在与人工智能协同共处的过程中更容易出现隐私泄露、信息茧房、价值冲击等伦理风险。因此，本研究力图构建针对大学生的教育人工智能伦理内涵框架，并开展大规模调研以探究大学生对教育人工智能伦理认知的现状。
二、当前教育人工智能伦理研究的焦点
当前学界对教育人工智能伦理的研究主要聚焦在伦理内涵、伦理原则、伦理风险规避三大方面。
1.伦理内涵：探究教育活动中的人机伦理关系
何为伦理？伦理是指人与人相处应遵循的道德准则，它包括客观的伦理关系及其外在规约（李建华，2020）。目前，人工智能引发的伦理风险已受到各国政府、组织和学者的关注，并引发了其对人与技术间伦理关系的进一步审视。例如，中国发布的《伦理规范》（中华人民共和国科学技术部，2021）和美国发布的《合乎伦理的人工智能框架》（Hogenhout，2021）均强调人工智能要为人类带来福祉，促进两者和谐美好。
教育人工智能作为教育领域的人工智能技术及系统，遵循人工智能的发展理念和以人为本的教育理念，关注人与机器的协作与交互，旨在赋能教育发展与变革（徐晔，2018;郝祥军等，2019）。面向新型人机关系的构建，《北京共识》强调教育人工智能要以人为本，考虑其对人和教育的多重影响，形成系统战略（中华人民共和国教育部，2019）。杜静等（2019）指出人机如何和谐共处是教育人工智能伦理建构的关键。刘三女牙等（2021）也指出，教育主体与教育人工智能之间的关系是教育人工智能伦理研究的重要内容。综上而言，厘清人工智能与人的关系，构建伦理框架、规范及原则为教育主体带来福祉（Siauetal.，2020），促进两者协同共生，是教育人工智能伦理内涵研究的核心。
2.伦理原则：尊重和体现学生主体的发展需求
已有研究探讨了人工智能伦理原则，要求从有益、安全、可释、公平、穩健等方面打造合乎伦理的人工智能（Hogenhout，2021），做到透明可释、公平公正、科技向善、责任担当、保护隐私等（Jobinetal.，2019;AIHLEG，2019），充分体现了作为主体的人的发展需求。
除了遵循上述一般性的伦理原则，教育人工智能亦需遵循教育规律，尤其要考虑教育主体中学生的发展需求。对教育主体而言，教育人工智能应以算法、关系、情感、资源为视角（赵磊磊等，2021），以仁爱为出发点，确保教育公平公正，且能最大程度地支持教育决策（邓国民等，2020）。针对学习者，李晓岩等（2021）还提出形塑自我原则，包含良善、诚信与节制。综上，学生作为人工智能的使用者和受用者，应秉持善用、恰用的准则，并有权力管控隐私数据（沈苑等，2019）、享受学习乐趣（Aikenetal.，2000）、依据技术做出决策（Nicholsetal.，2018），从而享有更加公平且高质量的教育，促进自身健康、全面和个性化发展。因此，教育人工智能伦理原则须以人工智能伦理原则为基础，彰显公平、包容与数据算法使用合乎伦理的理念，尊重和凸显学生的发展需求。
3.伦理风险规避：技术设计与教育价值的双向规约
教育人工智能的伦理问题百般复杂，但主要来源于两个方面。一是技术设计与开发方面，算法易导致学生发展路径固化并带来偏见（Tuomi，2018），数据过度采集易加剧学生隐私数据泄露的风险（李世瑾等，2021）。二是教育实践方面，人工智能的应用可能导致教育不公平问题，以及师生关系、学生与技术的关系发生异化（吴河江等，2020）。针对上述问题，一方面要明确技术开发理念，遵循教育价值引导下的技术规范和科学标准（冯锐等，2020），不断优化算法。另一方面，学生应成为伦理的积极实践者（罗生全等，2020），对可能出现的风险持有清晰的认知，端正态度，掌握知识，遵循规范，合理运用技术，接受他人监督（李晓岩等，2021）。学校层面应开设人工智能课程，从意识态度、知识理解、应用实践等方面渗透伦理教育（Burtonetal.，2017）。但伦理风险规避不是一蹴而就的，仍面临严峻的挑战与考验。例如，面对复杂的教育场景，宏观的人工智能伦理规范虽为教育人工智能提供了前瞻性认识指导，但仍未形成公认的规范准则（沈苑等，2019），其深入应用过程仍存在困难。另外，人工智能风险分析研究尚不深入，难以提供预警防范;以及人工智能课程资源有限，亦为伦理原则实践增加了难度（杨现民等，2018）。
综上所述，如何从学生的伦理认知角度破题析因、找寻对策，是支撑教育人工智能与学生协同共处，促进学生全面发展的关键。因此，研究基于综述分析，构建了面向大学生的教育人工智能伦理内涵框架，通过调研了解大学生对教育人工智能伦理认知的现状，并从自上而下和自下而上相结合的视角提出了伦理风险规避对策，以期为教育人工智能助力构建新型智能教育生态提供指导建议。
三、研究设计与实施
研究设计与实施分为三个阶段，如图1所示。在伦理内涵框架制定阶段，依据政策和文献研究，经过专家咨询及多轮迭代制定并修改伦理内涵框架。在伦理认知现状问卷设计阶段，针对大学生群体制定问卷并开展预调研。在调研正式实施阶段，以问卷调查为主、以访谈为辅探究大学生对教育人工智能伦理的认知现状。在此基础上，研究还剖析了伦理建设难点问题，并提出相应的对策建议。
1.伦理内涵框架制定
研究以教育人工智能伦理内涵为出发点，遵循人工智能伦理规范与要求，结合教育发展特征和学生发展需求，主要参考《合乎伦理的人工智能框架》，初步构建了教育人工智能伦理内涵框架。例如，借鉴《合乎伦理的人工智能框架》中的“有益”“公平”“数据”“安全可释”而改编为本研究的“发展助力”“多元包容”“数据管理”“安全可靠”4个维度，同时基于智能依赖、价值冲击等伦理风险及形塑自我原则，提出“自主维护”维度。最终，面向大学生的教育人工智能伦理内涵框架由自主维护、发展助力、多元包容、数据管理和安全可靠5个维度构成，并将其进一步细分为17个子维度，包括自主思考、自我肯定、自我约束、学习提升、健康保障、人际交往、情感引导、尊重差异、多元丰富、反馈说明、环境友好、数据授权、数据知情、数据保护、稳健可靠、风险抵御、透明可释。
为确保框架的科学合理性，研究采用德尔菲法，邀请16名专家开展了两轮咨询，以变异系数高于0.25为维度筛选标准来修改和完善框架。
在第一轮咨询中，专家对各维度设置表示肯定，但认为维度命名与描述仍需优化。（1）“自主维护”：维度命名容易与“技术系统维护”相混淆;（2）“发展助力”：可删除“身体健康”，并将关于学习发展的内容纳入其中;（3）“多元包容”：“环境友好”与“节省资源”表述欠佳;（4）“数据管理”与“安全可靠”：合并两个维度的内容。结合专家建议，研究将“环境友好”改为“可持续发展”，将“自主维护”改为“自立自主”，合并“数据管理”与“安全可靠”，并修订部分维度的描述。
在第二轮咨询中，专家对各维度的平均分、标准差和变异系数分别在8.19～9.38（满分为10分）、0.86～2.01、0.09～0.23的范围内，表明专家意见分歧大幅减少，伦理内涵框架构建的科学性获得较高认同。同时，专家建议将“反馈解惑”删除，维度命名还应体现《伦理规范》的要求。通过进一步优化维度名称及其表述，研究最终提出了涵盖“人机协同与自立自主、学生福祉与发展、公平与持续发展、安全与可控可信”4个一级维度以及12个二级维度的伦理内涵框架（如表1）。
2.调研对象
研究选取大学生为调研对象，主要基于两点考虑：一是大学生是使用智能技术的主要群体，他们对教育人工智能的伦理认知比中小学生更为深刻，且学习生活更具弹性也相对自由，但其尚未形成良好的自我管理能力（张敏等，2021），缺乏来自外界的规约，面临较为严峻的伦理风险。二是高校人工智能伦理教育推进缓慢（任安波等，2020），因此亟需全面了解大学生群体的伦理认知现状，以为高校伦理教育改革提供证据。
3.调研设计与实施
根据已确定的面向大学生的教育人工智能伦理内涵框架，编制调查问卷。问卷包括导语、基本信息及认知现状调研主体三部分。其中，认知现状调研共有23道题，题项均采用李克特5点量表。要求大学生根据实际情况作答，数值越高，表示符合程度越高。该问卷主体部分的信效度良好（Cronbach’sα=0.912，KMO=0.944，Sig.=0.000），达到了施测的要求。问卷以在线形式随机发放，共回收3474份。在清洗數据时，删除以下样本：（1）问卷填写对象不是大学生;（2）填写时间过短;（3）有效性检验题未通过;（4）题项标准分|Z|>=3。最终，研究得到有效问卷2519份，有效率为72.5%。回收的有效问卷中，本专科生有2274名，研究生有245名。
四、数据结果分析
1.大学生对教育人工智能伦理认知的画像
从图2可知，整体而言，大学生对教育人工智能伦理认知的总维度得分均值为3.73分，尚未达到“比较满意”的程度。各一级维度得分均值均高于3分，但彼此之间存在差距。其中“公平与持续发展”和“安全与可控可信”得分相对较低。由此可见，教育人工智能在设计、开发、应用中的公平性、普惠性、安全性与可靠性还有待改善。
从“人机协同与自立自主”的二级维度得分可知（见图3），大学生能坚守道德底线和法律底线，有意识地成为一名诚信的技术使用者，与教育人工智能实现基本的协同，不会轻易否认自身价值。但他们对教育人工智能的依赖性较强，使得思考的独立性和自主性有所降低，维度均值仅为3.53分。对数据的进一步分析表明，近40%的大学生可能由于课业压力大、管理能力不强等原因而面临这方面的伦理风险。
从“学生福祉与发展”的二级维度得分可知（见图3），教育人工智能能够基本满足大学生的个性化学习需求，固化成长路径的现象并不严重。沟通能力是智能时代大学生协同合作的重要能力。但大学生的人际交往和情感交流能力在一定程度上被削弱。统计得出，43%的大学生容易忽视了与他人的正常交往;35%的大学生正面临情感交流危机。
从“公平与持续发展”的二级维度得分可知（见图3），教育人工智能的公平性和包容性相对较弱，未能兼顾所有大学生的发展需求，对弱势群体和特殊群体的关照不到位。同时，该维度下的“可持续发展”得分也相对更低（得分为3.50分），表明大学生不太关注教育人工智能可能带来的环境影响，其可持续性有待加强。
从“安全与可控可信”的二级维度得分可知（见图3），教育人工智能的安全性、可靠性、可释性有待提高，尤其对隐私数据的保护亟待加强。“隐私保护”维度得分仅为3.37分，为所有二级维度最低得分。结合问卷与访谈分析可知，约55%的大学生正在经受这一伦理风险，这表明教育人工智能技术还存在缺陷，不足以提供强大的隐私安全保障。
2.不同大学生群体对教育人工智能伦理认知差异分析
以单因素方差分析的方式对不同学历和不同年级学生在各维度上的得分进行了差异检验，结果显示，不同学历的大学生在“人机协同与自立自主”“安全与可控可信”两个维度上均存在显著差异（Sig.=0.002）。
具体而言，在“人机协同与自立自主”维度，博士生的得分远比本科和硕士生的得分要高，两者之间的差异均达到显著水平（见表2）。可能的原因在于，博士生在与教育人工智能协同共处的过程中表现出更强的自我管理能力，其思考的独立性和自主性也较强。同时，本科各年级在该维度上的得分由高到低依次为大一、大二、大四、大三;除大三与大四之间外，其余各年级之间均表现出显著差异（Sig.
2023人工智能教育蓝皮书：现状、挑战与发展建议
作者：
周 丹 腾讯青少年人工智能教育负责人
吴朋阳 腾讯研究院智慧产业研究中心主任
人工智能作为新一轮科技革命和产业革命的重要驱动力量，正在深刻改变人们的生活、工作和教育学习方式，人工智能技术越来越多地应用在教学管理的各个环节，人工智能课程也逐渐成为中小学阶段的重要教学内容之一。为贯彻落实《中国教育现代化2035》，更全面地调研我国中小学人工智能课程教学和技术赋能教育的现状，腾讯研究院联合华东师范大学、中国教育科学研究院开展全国人工智能教育现状调研，编写了《2022人工智能教育蓝皮书》，旨在为未来中小学人工智能教育落地提供有效路径参考。本次蓝皮书面向全国25个省市的中小学校长、教师和学生进行问卷抽样调查，从2021年9月至10月获得有效问卷总计超过19万份，样本量较为充分。蓝皮书从人工智能教育的定义及应用比较、人工智能赋能教育的技术应用情况、人工智能课程的教学设置及师资实践等维度，通过不同地区校长、教师和学生不同视角的比较研究，反映出当下人工智能教育的现状及挑战，并对未来发展给出建设性建议。（文末提供本报告电子版和纸质版的获取方式）
人工智能教育的内涵和关键词
教育学者从不同的视角和层次出发，按照观点内容的指向性，将人工智能教育的内涵分为三大类：第一类是工具，人工智能教育即人工智能赋能教育，主要指向人工智能的应用层面，支持教、学、管、评等教育活动的技术手段，利用智能工具对教育系统各要素进行自动分析，支持规模化教学与个性化学习，加快人才培养模式和教学方法的改革。第二类是内容，人工智能教育即人工智能课程教学，以人工智能为学习内容的教育，包括人工智能知识教育、应用能力教育和情意教育等，是提升个体人工智能素养的泛学科性教育。第三类是工具与内容的组合，将以上两类观点进行整合，实现学习层面与应用层面的统一与融合。
图1 人工智能教育的分类
工具：人工智能赋能教育的重要发现
1.学校信息化智能系统建设仍处于“重硬轻软”阶段。受访学校的信息化硬件设备总体情况较好，并配备了一定数量的智能设备，但是人工智能技术教育应用的相关软件系统还较为欠缺。
图2 学些所拥有的人工智能软硬件教育装备情况（N=1423）
图3 学校在课堂教学中应用人工智能技术的情况（N=1423）
2.学校管理层愿意推进人工智能教学应用，同时对系统安全诉求强烈。受访校长对人工智能技术在学校管理方面的应用满意度较高，并且愿意继续推进人工智能技术在学校中的进一步应用；学校都愿意通过设立“教学服务团队”、“邀请人工智能专家提供指导”等渠道为人工智能在教育方面的应用提供支持；校长们还认为教师最需要的外部支持是为教师创造在教学中使用人工智能产品的文化氛围、配置成熟的人工智能教学应用产品、增加教师在教学中使用人工智能产品的激励机制。由于人工智能技术在教育应用中可能导致师生的个人信息泄露或被监视等问题，因而校长对搭建校园安全预警防范系统的态度较为强烈。
图4 校长对人工智能技术在学校管理应用的满意度情况（N=1423）
3.教师整体认可人工智能教学工具的价值，但也受阻于相关产品的不成熟和系统培训的缺乏。受访教师对人工智能在教学中的应用较为满意，认为在教学中应用人工智能技术可以提高他们的教学自信心，但同时也反映在操作人工智能产品中遇到困难的问题。教师认为最阻碍在教学中有效应用人工智能技术的因素是缺乏成熟的智能产品以及配套的资源与服务，其次是中小学中缺乏对一线教师进行人工智能相关课程的系统培训。
图5 教师应用人工智能技术的阻碍因素（N=26806）
4.学生普遍愿意使用人工智能学习工具，希望获得个性化评估与辅导。大部分受访学生都对人工智能教育持有积极的态度，愿意使用人工智能学习工具，并认为使用人工智能技术会促进学习。仅有不到一半的受访学生使用过人工智能学习工具辅助学习，使用过的学生则都能够利用人工智能学习工具自主获取所需要的学习资源，实现学习方式的多样化。
图6 学生使用人工智能学习工具的类型（N=54684）
大部分受访学生认为，智能评价系统从不同角度分析学习数据，能精准反映实际学习情况，对学习有很大帮助，并期望智能学习工具能够基于问题给予学生详细的解析思路和过程，在此基础上配备相应的讲解视频，全方位多角度地对学生进行有针对性的辅导。
图7 学生期望的智能学习工具（N=46462）
希望获得电子版报告的读者，请扫码填写您的邮箱地址和单位信息，我们将及时发送；
我们需要怎样的人工智能基础教育
加强人工智能基础教育，是未雨绸缪应对未来社会发展的必然选择和要求。在促进教育高质量发展的过程中，人工智能不仅要被作为“术”，即提供科学知识与核心技术的内容载体和工具方法，更要被作为“道”，提供观念理念与思维认知，助力“实现人的自由”“促进人的全面发展”。
人工智能被视为影响第四次工业革命和教育革命的标志性技术，人工智能基础教育的重要性也已成为社会共识。随着《新一代人工智能发展规划》的颁布，教育部先后提出将有关编程教育纳入中小学生必修课程及高考等政策，并在北京、广州等5个城市进行试点。这被普遍认为有利于推动人工智能在基础教育阶段的发展。
尽管不少学生将编程列入校外学习清单，高中生对信息学奥赛的参与度也大热，但据《开发者技能报告》数据显示，中国学校的编程教育渗透率仅为0.96%，美国和英国则分别为44.8%、9.31%。此外，在资本的驱动和教育竞争焦虑的“哄抬”下，人工智能基础教育出现的一些乱象，不可不察。
比如，人工智能被窄化理解为编程，国家义务教育阶段课程标准付之阙如，专任教师队伍专业化程度较低，课程教材等资源配置质量良莠不齐；学校教育受到校外培训挤压的同时又严重依赖于校外力量，学校教育社团化、小众化、择优化倾向严重；区域差异、城乡差异、校际差异及性别差异较大；教学评价单一化与竞赛功利化并存等问题凸显，等等。人工智能基础教育随着其重要性的提升，愈发呈现工具化、资本化、分层化和功利化倾向，这显然与人工智能基础教育的初心和科技向善的价值理念相违背。
加强人工智能基础教育，是未雨绸缪应对未来社会发展的必然选择和要求。在促进教育高质量发展的过程中，人工智能不仅要被作为“术”，即提供科学知识与核心技术的内容载体和工具方法，更要被作为“道”，提供观念理念与思维认知，助力“实现人的自由”“促进人的全面发展”。
基础教育不同于职业教育和高等教育，不是为了培养受教育者专业的技能、习得精深的知识，而是旨在为儿童打下未来身体发展、人格发展、学力发展和社会发展的基础。科学素质、科学素养已是现代社会的基本素质和必备素养，可以预见的是，面向未来智能社会，计算机科学等必将纳入核心科学的范畴。那么，我们究竟需要怎样的人工智能基础教育？
计算机科学作为一门真正要深入到中小学教育中的科学，被赋予了促进公平的更多责任和期待。从教育对象的全纳性出发，作为计算机科学分支的人工智能，应贯穿从小学到高中的连续学校教育过程。以科学或信息技术课为载体的人工智能教育，不应只是部分学生的“特长”、部分学校的“增光项目”、部分地区的“优先权”，而应是面向所有学生的普及教育、扎根于日常课堂教学中的基本素养和必修学科，注重可教性、可学性与可获得性。越是欠发达地区，越应落实课程的普及化开设和差异化教学，并将其作为促进公平、提高学校吸引力的抓手。
学校教育的知识传授目标之本在于“传道”，之末在于“授业”。知识的增加是一种外显的行为变化，而知识随着技术发展与社会更迭会不断发展和变化，知识的学习也是无法穷尽的。人工智能的发展正在重新定义人类知识和能力的价值，强化对知识机械记忆的教育将越来越没有价值，而学校教育和课本教材的更新速度也远不及科技知识发展的速度。况且学校教育的时间非常有限，知识的传授并不是越多越好，通过知识的学习来培养学生的能力和素养才是内隐的核心。
有必要指出，教中小学生编程，不是为了让他们会背代码、算数学、写程序，人工智能作为学习的内容载体和路径形式，最终的目标应是让学生掌握基本原理、问题解决的思路与方法、培养批判性思维的科学精神及学习兴趣。当前，各级各类的编程类、信息学等竞赛激励过早介入，形成了恶性竞争和拔尖筛选机制，同样扼杀了人工智能基础教育的可能性和公平性。未来，有必要进一步优化竞赛机制和功能。同时，也应通过多种方式的引导，增强人们对人工智能基础教育厚基础、重实践、强思维、求创新这些核心目标的关注和理解。
（作者：王学男，系中国教育科学研究院博士、助理研究员）
《光明日报》（2021年02月03日02版）
(责编：何淼、申亚欣)分享让更多人看到