随着政府考虑使用新技术,无论是在出租车上的传感器、警用执法记录仪,还是在公共场所的枪声探测器,这都引发了关于对弱势群体的监控、意外后果和潜在滥用等问题。在如何以更健康、更负责任的方式做出这些决定时,需要记住几个原则。将关于政府采用技术的争论简化为二元的赞成/反对叙事可能很诱人,但这未能捕捉到这些决策许多关键和细微的方面。
我们最近在美国旧金山大学应用数据伦理中心举办了技术政策研讨会。其中一个主题是政府如何促进技术的负责任使用。在这里,我将分享一些这些讨论得出的关键建议。
- TOC {:toc}
倾听当地社区的意见
不存在适用于每个国家和文化的普适性伦理答案。因此,关于技术使用的决定应与当地社区密切协商后做出。2013年,奥克兰宣布了新建“域态感知中心”(DAC)的计划,该中心将在学校和公共住宅区安装700多台摄像头,配备人脸识别软件、自动车牌读取器(ALPRs),数据存储容量达300TB,并设有一个集中式设施进行实时监控。Brian Hofer是一名奥克兰居民,此前从未去过市政厅,但他对这些计划感到震惊,尤其是在同一月发布的爱德华·斯诺登揭秘事件之后。Hofer与其他市民和隐私倡导者一起,对这些计划的侵入性感到担忧,并开始参加市议会会议。他们担忧的原因有很多,包括发现市政府工作人员一直在讨论使用DAC监控抗议活动和示威活动。通过当地市民的倡导,该计划被大幅缩减,并成立了奥克兰隐私委员会,该委员会继续为潜在的政府决策和采购提供宝贵的见解。
令人遗憾的是,当地社区的担忧常常被置之不理,部分原因是企业利益和种族主义刻板印象。例如,在底特律,一个79%为黑人的城市,市民们抗议警方使用人脸识别技术。然而,市议会最终投票批准了其使用,这违反了警察部门自身的政策。相比之下,成功禁止人脸识别的城市的人口结构却大不相同:旧金山只有5%为黑人,奥克兰只有25%为黑人(感谢Tawana Petty强调了这些统计数据)。城市的种族构成是技术部署和使用的地点与方式的一个重要因素。另一个令人警醒的种族重要性例子是,巴尔的摩警察局使用了人脸识别技术来识别抗议弗雷迪·格雷(一名在警方拘留期间死亡的黑人)之死的人。
警惕保密协议如何掩盖公共部门的流程和法律
为了让市民在当地政府使用技术方面拥有发言权,第一步是他们需要知道正在使用哪些技术。不幸的是,许多地方政府在此问题上守口如瓶,并且经常签署过于严格的保密协议(NDAs),甚至隐藏他们所使用技术的存在。2017年,纽约市通过一项措施,任命了一个关于自动化决策系统的特别工作组,负责调查该市使用的软件的公平性并提出政策建议。然而,特别工作组成员反复要求提供一份已在使用的自动化系统基本清单,却遭到拒绝,市政府声称这是专有信息。当市政府发布该委员会的最终报告时,许多成员表示异议,并同时发布了自己的“影子报告”。Meredith Whittaker,特别工作组成员兼AI Now Institute创始人,称该市未能分享相关信息,导致这个本可以具有开创性的项目受挫,她说:“这真是浪费。这是一个令人遗憾的先例。”
Elizabeth Joh解释说,法律通常是通过许多案件随着时间推移而发展的。然而,保密协议常常阻止市民发现某项特定技术是否存在,更不用说该技术在他们城市是如何使用的了。例如,帮助警方定位个人手机的基站模拟器(通常被称为“黄貂鱼”),就受到特别严格的保密协议保护,警方必须同意宁愿撤案也不透露在抓捕嫌疑人时使用了基站模拟器。当如此重要的细节被隐藏时,我们的法律如何能够发展?发展和完善我们法律体系的传统过程就会中断。“通常我们认为我们对警察的行为有监督权,”Joh此前曾说过。“现在我们有了第三方中介,他们拥有一种隐私盾牌,不受州公共记录法的约束,并且他们让部门签署合同,约定对此保密。”
治安监控不等于社区安全
“绿灯计划”是底特律的一项公私合作项目,企业外部的高清监控摄像头将实时数据传输给警方,警方优先处理参与者的数据。超过500家企业参与其中。这是迄今为止对一个集中的黑人群体(70万人)进行人脸识别的最大规模实验。黑人被警方拦下的可能性不成比例地高(尽管警方搜查黑人、拉丁裔和原住民时,与搜查白人相比,发现毒品、武器或其他违禁品的可能性较低)、因轻微违规而被记录的可能性不成比例地高,因此他们的面部出现在警方人脸数据库中的可能性不成比例地高(这些数据库不受监管且未经错误审计)。将此与了解美国长期以来对黑人社区进行监控和虐待的历史相结合,尤其令人担忧。尽管该项目的目标表面上是让底特律更安全,但我们必须问:“谁因此变得更安全?谁成了被防范的对象?”
Tawana Petty是一位在底特律出生和长大的诗人兼社会正义组织者。她是底特律社区技术项目的数据正义项目主任,并共同领导我们的数据身体项目。在CADE技术政策研讨会上,她分享了“绿灯计划”如何让她感到更不安全,并提供了一个更令人充满希望的例子,说明如何提高安全:给人们椅子,让他们坐在前廊上,鼓励他们花更多时间在外面与邻居交谈。Myrtle Thompson-Curtis撰写了关于这个想法起源的文章:1980年在密尔沃基,“一群年轻的非裔美国人回忆起长辈们如何坐在前廊上,在他们小时候照看他们。这些警惕的眼睛给了他们一种安全感,一种被社区关心和照看的感觉。当这些年轻人长大成人后,他们注意到没有人再坐在他们的前廊了。相反,人们在门窗上安装了铁栅栏,彼此害怕。”年轻人挨家挨户地拜访邻居,如果他们同意在孩子们上下学时坐在前廊上,就向他们免费提供椅子。这一计划后来在密歇根州的圣克莱尔海岸被复制,以帮助化解种族紧张关系,现在又在底特律实行,作为该市侵入性“绿灯监控计划”的一种替代方案。“治安监控不等于真正的安全,”Tawana说道,将监控与真正的安全进行了对比。
埃森哲负责任人工智能团队的负责人Rumman Chowdhury指出,监控往往是军事化暗中加剧的一部分。军事化表面上被宣传为提高安全,但往往会产生反作用。低信任度社会往往高度军事化,而军事化社会往往信任度较低。正如Zeynep Tufekci在Wired杂志上撰写的文章中所述,社会学家区分了高信任度社会(人们可以预期大多数互动都能顺利进行,并能获得正当程序)和低信任度社会(人们预期会被欺骗,并且当受到侵害时没有追索权)。在低信任度社会,进行商业交易、获取信贷或建立专业关系更为困难。低信任度社会的人们也更容易受到承诺维持秩序的威权统治者的影响。我们已经看到互联网正从一个高信任环境转向低信任环境,而监控的使用可能正在加速这一转变在现实世界中发生。
政策决策不应被外包为设计决策
在考虑警用执法记录仪时,有许多重要决定:警官是否应该能够随时开启和关闭它们?摄像头是否应该有闪烁的红灯来告知人们正在录像?视频应该存储在哪里,谁应该有权访问它们?尽管这些决定将对公众产生深远影响,但目前却由私人科技公司决定。这只是Elizabeth Joh分享的例子之一,说明了本应是政策决策的内容,最终常常被企业作为设计决策来决定。就警用执法记录仪而言,Axon(此前名为Taser)在警用执法记录仪领域处于垄断地位,加剧了这种缺乏选择/控制的状况:由于他们与美国18000个警察部门中的17000个有合作关系,各城市可能根本没有多少选择。供应商与客户的关系影响着警察如何履行职责以及我们如何追究他们的责任。
Heather Patterson,英特尔公司的隐私研究员兼奥克兰隐私委员会成员,谈到了科技公司如何常常忽视城市,未能构建符合其需求和要求的产品,并将它们视为事后才考虑的对象。在许多情况下,城市可能希望拥有更少的选项或收集更少的数据,这与Mozilla政策负责人Chris Riley所描述的普遍科技方法“现在收集、以后变现、以防万一永远存储”相悖。
这些原则可以指导我们实现地方政府更负责任地使用技术。当技术得到负责任的开发和部署,吸纳了来自不同相关利益攸关者的意见,并内嵌了适当的透明度和问责制时,技术就可以用于造福社会。
更负责任的政府技术使用只是技术政策研讨会上讨论的主题之一。敬请关注研讨会提供的更多资源和见解!