□ 胡艳丽
想象这样一个场景:想申请红十字会工作的凯瑟琳,在收到的拒绝信上,发现了一条非常令其震惊的信息,她的数据资料显示她曾因涉毒遭到刑事控告。凯瑟琳通过追踪数据产生的原因,发现系统将她和一个同名同姓,又刚好同一天出生的人搞混了。事情搞清楚了,但凯瑟琳的麻烦可不会到此为止,这份错误的信息报告,正在被不同的公司使用,她也许一辈子都要活在证明自己是此凯瑟琳而非彼凯瑟琳的证明题当中,她莫名其妙地成了“数字难民”。
据美国2013年联邦贸易委员会发布的一篇报告显示,全美约5%的消费者其信用报告中包含差错,而差错带来的后果,足以严重到影响他们的信贷、求职。其实,上面的数据错配,在美国数据科学家凯西·奥尼尔所著的《算法霸权:数学杀伤性武器的威胁》中,仅仅是“数据作恶”的冰山一角。在书中她用大量生动鲜活的案例,指出大数据正在被滥用,在算法的加持下,令种种偏见成为“上帝的预言”,固化着社会的某些不公,它令贫者更贫,弱者更弱,让无数人的生活因此陷入混乱,甚至造成整个社会的失序。
那让人看不见、摸不着,却在暗中起效的算法,正在成为一种新兴霸权,作者将算法称之为“数学杀伤性武器”。除了建模者没有人知道他的运算规律,也没有人了解影响运算结果的关键数据,但它却可以在看似公平的机器运算掩盖之下,堂而皇之地大行偏见。算法可以轻而易举地摧毁具有某类特征的人群……
正如科学不带有善恶属性一般,数据本身也不带有偏见,它们本身并不会作恶,而令它们变成“杀伤性武器”的是站在背后的人。书中示例,1983年,美国一家濒临停刊的期刊,启动了为全美1800所学院和大学排名的项目,他们想借此让期刊吸引世人目光,起死回生。但问题在于,杂志的编辑们并不是教育学家,他们并不清楚什么才是真正好的教育。
需要注意的是,这种毫无科学根据的排名,一旦在公众中传播,排名效应就会自行固化,且不断自我实践。此中,排名靠后的大学声誉受损坏,其生源就会恶化,优秀的教授也会相继离去,不久,这所大学就真的名副其实了。因这莫名其妙的排名,各所大学的校长,或许会捧着各项排名考核指标研究,据此调整学校的教学标准、录取学生的方法,学校软硬件配置……一所大学去迎合一家杂志的评价口味而不是教书育人,一群学者“苦心”于数字造假而不是坚守学术尊严,这是何其荒谬?
大数据有着无限潜能,但并不等于利用大数据的人拥有上帝般的智识,他们在利用大数据建模时,会在无意识中将一些偏见植入。正如书中所示,这些偏见会自行固化,逐步成为大规模“杀伤性武器”。数据提供者可能是二手数据商,他们网罗各种来源的数据,再卖给使用者,为了规模和效率,对他人造成的误伤,并不在他们考虑的范围之列。
这并不是一本单纯唱衰大数据的书,作者希望通过让更多的人了解大数据、了解算法,反思模型,通过政府和相关机构的努力,不断改善各类设计评价体系,减少模型性偏见,维护社会的公平与民主。让各种足以操控民生的算法、规则袒露于阳光之下,接受阳光的消毒。让算法模型从高高在上的“独裁判官”进化成可以服务民生、服务大众的公共服务系统。
《算法霸权:数学杀伤性武器的威胁》
【美】凯西·奥尼尔 著
中信出版社
想象这样一个场景:想申请红十字会工作的凯瑟琳,在收到的拒绝信上,发现了一条非常令其震惊的信息,她的数据资料显示她曾因涉毒遭到刑事控告。凯瑟琳通过追踪数据产生的原因,发现系统将她和一个同名同姓,又刚好同一天出生的人搞混了。事情搞清楚了,但凯瑟琳的麻烦可不会到此为止,这份错误的信息报告,正在被不同的公司使用,她也许一辈子都要活在证明自己是此凯瑟琳而非彼凯瑟琳的证明题当中,她莫名其妙地成了“数字难民”。
据美国2013年联邦贸易委员会发布的一篇报告显示,全美约5%的消费者其信用报告中包含差错,而差错带来的后果,足以严重到影响他们的信贷、求职。其实,上面的数据错配,在美国数据科学家凯西·奥尼尔所著的《算法霸权:数学杀伤性武器的威胁》中,仅仅是“数据作恶”的冰山一角。在书中她用大量生动鲜活的案例,指出大数据正在被滥用,在算法的加持下,令种种偏见成为“上帝的预言”,固化着社会的某些不公,它令贫者更贫,弱者更弱,让无数人的生活因此陷入混乱,甚至造成整个社会的失序。
那让人看不见、摸不着,却在暗中起效的算法,正在成为一种新兴霸权,作者将算法称之为“数学杀伤性武器”。除了建模者没有人知道他的运算规律,也没有人了解影响运算结果的关键数据,但它却可以在看似公平的机器运算掩盖之下,堂而皇之地大行偏见。算法可以轻而易举地摧毁具有某类特征的人群……
正如科学不带有善恶属性一般,数据本身也不带有偏见,它们本身并不会作恶,而令它们变成“杀伤性武器”的是站在背后的人。书中示例,1983年,美国一家濒临停刊的期刊,启动了为全美1800所学院和大学排名的项目,他们想借此让期刊吸引世人目光,起死回生。但问题在于,杂志的编辑们并不是教育学家,他们并不清楚什么才是真正好的教育。
需要注意的是,这种毫无科学根据的排名,一旦在公众中传播,排名效应就会自行固化,且不断自我实践。此中,排名靠后的大学声誉受损坏,其生源就会恶化,优秀的教授也会相继离去,不久,这所大学就真的名副其实了。因这莫名其妙的排名,各所大学的校长,或许会捧着各项排名考核指标研究,据此调整学校的教学标准、录取学生的方法,学校软硬件配置……一所大学去迎合一家杂志的评价口味而不是教书育人,一群学者“苦心”于数字造假而不是坚守学术尊严,这是何其荒谬?
大数据有着无限潜能,但并不等于利用大数据的人拥有上帝般的智识,他们在利用大数据建模时,会在无意识中将一些偏见植入。正如书中所示,这些偏见会自行固化,逐步成为大规模“杀伤性武器”。数据提供者可能是二手数据商,他们网罗各种来源的数据,再卖给使用者,为了规模和效率,对他人造成的误伤,并不在他们考虑的范围之列。
这并不是一本单纯唱衰大数据的书,作者希望通过让更多的人了解大数据、了解算法,反思模型,通过政府和相关机构的努力,不断改善各类设计评价体系,减少模型性偏见,维护社会的公平与民主。让各种足以操控民生的算法、规则袒露于阳光之下,接受阳光的消毒。让算法模型从高高在上的“独裁判官”进化成可以服务民生、服务大众的公共服务系统。
《算法霸权:数学杀伤性武器的威胁》
【美】凯西·奥尼尔 著
中信出版社