欧盟最新AI监管草案:全面禁止大规模监控和基于AI的社会信用体系

编者按：本文来源于微信微信官方账号的“学术头条”(ID:SciTouTiao)。由刘芳执笔，王新凯编辑，王排版。授权发布。

在数据保护和人工智能技术监管方面，欧盟一直走在立法实践的前列。当地时间4月21日，欧盟委员会公布了一份题为《制定人工智能协调规则(人工智能法案)》和《修正某些欧盟立法法案》的草案，对人工智能技术应用的风险进行了评估。

根据该草案，欧盟将全面禁止大规模监控和利用人工智能技术的社会信用体系，同时严格限制“高风险”在特定领域的应用。

2020年2月19日，欧盟委员会发布了题为《人工智能白皮书——欧洲卓越与信任之道》的白皮书，探讨了如何促进人工智能的发展，解决相关风险。21日发布的草案是白皮书的法律延伸，旨在为实现可靠的人工智能生态系统提供坚实的法律框架。

该法案一旦通过，将极大地影响其他地区的人工智能治理，就像2018年5月25日生效的《欧盟一般数据保护条例》 (GDPR)。

欧盟竞争事务负责人玛格丽特维斯塔格(Margrethe  Vestager)在公布草案时表示：“通过里程碑式的法规，欧盟正在建立全球规范，以确保人工智能是一项值得信赖的技术。通过设定标准，我们可以为合乎道德的人工智能技术铺平道路，并确保欧盟在这一过程中保持竞争力。”

梅丽莎海基勒(Melissa  Heikkil)在政治专门从事人工智能报告，她认为该草案具有一定的先发优势，将极大地影响由欧洲理事会、经合组织、北约、教科文组织和七国集团牵头的关于人工智能全球伙伴关系的讨论。

被全面禁止的人工智能应用

在草案中，欧盟委员会首先讨论了什么是人工智能。

由于技术的复杂性，业界对这个问题还没有给出一个明确统一的答案。欧盟委员会认为，人工智能是一大类快速发展的技术的总称。对于一组人类指定的目标，这项技术可以在物理或数字维度上给出包括内容、预测、建议或决策在内的输出，从而影响交互环境。人工智能系统要么是终端产品(非嵌入式)，要么是产品的组成部分(嵌入式)。

为了提供必要的法律确定性，欧盟委员会在草案中以附件的形式详细列出了人工智能范围内的技术清单。不仅如此，榜单还会不断更新，以跟上最先进的人工智能技术。换句话说，人工智能的定义在这个草案中具有灵活性和时效性，巧妙地解决了法律的滞后性和技术的快速发展之间的矛盾，给未来行业的合规性带来了便利。

草案将人工智能的应用分为完全不可接受的风险、高风险和低风险，其中三种应用是完全禁止的。

第一种是无意识地操纵人类意识，从而影响其决策或扭曲其行为，从而对人类造成身体或心理上的伤害。一些观察人士认为，这项规定可以让人想起脸书、推特、谷歌和亚马逊的大多数商业模式，以及虚假信息和极端主义等推荐算法。尽管法规的目标没有明确指出，但欧盟委员会是世界上第一个禁止人工智能系统用法律语言“操纵”人类思维的机构。

第二种情况是利用儿童或残疾人的脆弱性来伤害他们，这说明欧盟一直重视和保护弱势群体。

第三种是基于人工智能系统的社会信用体系。欧盟委员会认为，公共当局根据自然人的社会行为或人格特征对其进行信用评价会产生不可预见的后果，个人或特定群体的权益会受到损害。不同的社会语境会产生不同的算法偏差，直接影响信用评价。这样的社会信用体系侵蚀了社会公平正义的原则，需要取缔。

欧盟委员会在这份草案中为许多人关注的面部识别技术留出了空间。人脸识别作为一种“实时远程生物识别技术”，在很大程度上侵犯了人们的隐私。因此，欧盟将彻底禁止不加区别的大规模监测，但有三种具体情况除外：寻找失踪儿童；消除恐怖袭击的威胁；并在法律允许的范围内追查具体犯罪嫌疑人。

“实时远程生物识别技术”是欧盟委员会强调限制这一次的人工智能技术。它是指在没有显著延迟的情况下捕获、比较和识别个人生物特征数据。该技术的特点是将人体生物数据与数据库进行比较，不确定目标人是否会提前出现。值得注意的是，欧洲议会内部有一个强烈的声音要求完全禁止这项技术。上周，欧洲议会40名议员联名上书，批评该草案开放了“实时远程生物识别”技术。

>

高风险应用场景

除了以上被全面禁止的情况外，欧盟委员会还详细列举了人工智能的 “高风险” 应用。草案称，高风险的人工智能系统只有在符合欧盟强制性要求的情况下才能投入市场使用，否则公共利益会受到不可接受的风险。换言之，未来不符合准入标准的人工智能系统将被无情地挡在欧盟市场之外。

首先是执法系统和法院对人工智能的使用。草案称，执法当局使用人工智能系统会导致权力严重失衡，侵犯个人基本权益。如果训练这些算法的数据质量不高，或算法的准确性及鲁棒性没有达到要求，那么程序性正义，公平审判权，辩护权和无罪推定的权利就会受到冲击。欧盟委员会尤其将个人风险评估、测谎仪、辨别情绪等应用归为高风险。在刑事诉讼中，基于人工智能技术对证据进行可靠性评估，对嫌疑人的性格特征进行判断，或基于过去的犯罪行为进行推定等行为同样被归为高风险范围。

其他的高风险应用场景主要集中在社会保障、就业和教育等与生活息息相关的方面。在就业方面，欧盟委员会考虑到了人工智能在招聘、升职、解雇及合同关系中可能扮演的重要角色。草案认为，利用算法对工作人员进行评估或监测无疑属于高风险，因为它们对员工的职业前景和基本生计有着难以把控的影响。同时因为算法偏见，人工智能对妇女、残疾人或年龄的歧视也将继续，人们的隐私权将不可避免地受到威胁。

在教育方面，欧盟委员会认为利用算法进行招生录取及考试评定必须被视为高风险，因为这很可能会影响他们这一生受教育的机会，还将产生社会固化的问题。在社会保障系统方面，欧盟委员会认为人工智能参与决策过程将对民生产生重大影响。例如，利用人工智能决定人们是否能获得银行贷款、财政补助、保障性住房、电力电信等基本服务。由于种族、残疾、年龄、性取向等各种因素，算法很可能会延续目前社会已经存在的广泛歧视，从而使弱势群体处于更加不利的地位。

草案中对于高风险人工智能的合规要求招来了一些欧盟组织的反对。虽然欧盟将通过质量管理和评估程序严格管控，但一些人工智能技术供应商将被允许进行自我合规测评。数字权利组织 EDRi 的高级政策顾问 Sarah Chander 对 Politico 表示：“欧盟委员会将合规交给了人工智能供应商，这可能会损害（人们的）基本权利，甚至可能让公共当局逍遥法外。”

对此某些科技行业的游说人士则感到宽慰，他们对高风险应用的合规要求表示称赞。计算机与通信行业协会（Computer & Communications Industry Association）的 Christian Borggreen 对法新社指出，欧盟委员会采用了基于风险的评估方法，这很好。该协会代表了包括亚马逊、Facebook 和谷歌在内的多家科技巨头。违反此法案的公司可能被处于 2000 万欧元或公司收入 4% 的罚款，与此前的反垄断法规定类似。

随着草案的出台，关于数据主体基本权利与技术创新间关系的新一轮争论也将随之拉开序幕。要想获得通过，这项法案必须得到代表欧盟 27 国政府的欧洲理事会和直接选举产生的欧洲议会的批准，整个过程可能需要数年时间。去年年底，以丹麦为首的 14 个国家发表了一份不具约束力的文件，呼吁建立一个更 “灵活” 的法律框架。但对于德国这样更注重隐私的国家来说，这项草案的规定明显还不够深入。

人工智能技术的日新月异与欧盟繁琐复杂的立法机制形成了鲜明的对比。但无论如何，人类已经就人工智能的系统性风险已经展开了实质性的立法规划。从这个意义上来看，欧盟再次在法治战略上抢得先机。

参考资料：

https://digital-strategy.ec.europa.eu/en/library/proposal-regulation-european-approach-artificial-intelligence

https://www.gpai.ai/

https://www.politico.eu/newsletter/ai-decoded/politico-ai-decoded-key-battles-for-the-eus-ai-law-ai-governance-twitters-algorithm/

https://news.yahoo.com/eu-unveils-ai-rules-temper-041250924.html

https://www.nytimes.com/2021/04/16/business/artificial-intelligence-regulation.html