算法歧视的场景

实践表明，所谓“技术中立”及由此衍生的“算法中立”只是一种幻想，算法完全可能充当歧视的工具。^[8]算法歧视主要源自输入的数据：如果训练算法所使用的数据本身就是歧视性选择的结果，那么算法就可能从中习得歧视；如果输入的数据被设定了带有歧视意味的特性（例如性别），那么算法考虑特性就可能构成歧视。后一种情形下，如果特性是由程序员所设定，则歧视相对容易解决，只需要禁止程序员这样做即可；而如果是在深度学习之中，特性是由算法所自动选取的，则歧视问题不易解决。

目前，女性就业中的算法歧视已经超越理论假设，成为海外招聘活动中的现实。最著名的实例发生在美国。2014年，亚马逊公司开始开发一项用于筛选简历的算法。程序员以过去十年公司的聘用记录作为训练数据集，希望计算机从中习得筛选最佳候选人的算法。算法如愿生成，效果却具有歧视性：程序员发现，算法会惩罚女性求职者，如果求职者毕业于女校或者简历中带有“女性的”字样，就会受到算法的负面评价。究其原因，公司在招聘中长期存在重男轻女的现象，这种性别偏见寓于训练数据集之中，被计算机习得，就成为算法的一部分。上述歧视已经显现，可以通过人工编程来消除，即所谓去偏见（de-biasing）；但是程序员发现，由于算法的内容难以理解，他们无法确保偏见已经去除干净，算法仍然可能以难以察觉的方式进行歧视。经过评估，亚马逊被迫于2017年初放弃了这一算法。^[9]亚马逊的案例反映了算法歧视的两大特征：源自输入的数据，难以察知和消除。2019年，民间组织电子隐私信息中心向美国联邦贸易委员会提起申诉，指责HireVue公司所开发的、用于企业招聘的算法可能存在性别歧视，其主要依据就是亚马逊公司的先例。^[10]迫于压力，HireVue公司于2021年初停用了其算法中最可能发生歧视的人脸识别功能。^[11](https://www.daowen.com)

民间组织的申诉并非危言耸听。大型企业的求职者人数众多，招聘任务繁重，亟须引进第三方企业开发的算法来提高招聘效率，这是海外最可能发生针对妇女就业的算法歧视的场景。^[12]以此为参照，可以推测我国发生类似歧视的最可能场景：其一，算法的使用者最可能是大型企业，使用目的主要是提高招聘效率，这与海外基本一致；其二，算法的开发者最可能是第三方，即《人力资源市场暂行条例》第18条规定的、有权开展人力资源测评的经营性人力资源服务机构；其三，开发算法所需的数据最可能来自掌握大数据的政府或平台企业，这是与海外存在显著差别之处。虽然我国尚未报道算法在职场实施性别歧视的案例，但是上述场景很有可能变成现实，对其展开前瞻性研究确有意义。