Google|Google为记者与公众人物开发了一个开源的骚扰过滤器

Google的Jigsaw部门正在发布一个名为Harassment Manager的开源反骚扰工具的代码 。该工具是为采访人员和其他公众人物准备的,它采用了Jigsaw的Perspective API,让用户在社交媒体平台上对潜在的恶意评论进行分类,首先针对的就是Twitter 。它以源代码的形式首次亮相,供开发人员使用,然后在6月作为汤森路透基金会采访人员的功能性应用推出 。
骚扰管理器目前可以与Twitter的API合作,将修改选项--如隐藏Twitter回复和静音或屏蔽账户--与批量过滤和报告系统结合起来 。Perspective根据威胁、侮辱和亵渎等元素,检查信息的语言"毒性"水平 。它将信息分为仪表板上的队列,用户可以分批处理这些信息,而不是通过Twitter的默认审核工具单独处理 。他们可以选择在处理时模糊信息的文本,因此他们不需要阅读每一条信息,而且除了使用自动生成的队列外,他们还可以搜索关键词 。
Google|Google为记者与公众人物开发了一个开源的骚扰过滤器
文章图片

帖子中描述的骚扰管理器仪表板的图片
骚扰管理器还允许用户下载一个包含辱骂信息的独立报告;这可以为社交媒体账号的主人创造了基于文件的线索,如果是直接威胁等非法内容,则可以直接为执法部门取证提供帮助 。然而,目前还没有一个独立的应用程序用户可以下载 。相反,开发者可以自由地基于这个过滤器API建立包含其功能的应用程序,使用它的服务将由汤森路透基金会等合作伙伴推出 。
Jigsaw在妇女节正式宣布了Harassment Manager,它把这个工具说成是与面临性别虐待的女采访人员特别相关,强调了来自"拥有大量Twitter存在的采访人员和活动家"以及国际妇女媒体基金会和保护采访人员委员会等非营利组织的投入 。在Medium的一篇文章中,该团队表示,它希望开发者能够为其他有风险的社交媒体用户量身定制 。"我们希望这项技术能够为那些在网上面临骚扰的人提供资源,特别是女采访人员、活动家、政治家和其他公众人物,他们在网上遭遇不少恶意的内容 。"帖子写道 。
Google|Google为记者与公众人物开发了一个开源的骚扰过滤器
文章图片

拼图的骚扰管理器中的报告选项的屏幕截图
Google之前已经利用Perspective进行了自动审核 。2019年,它发布了一个名为Tune的浏览器扩展,让社交媒体用户避免看到有害的攻击性信息,许多评论平台(包括Vox Media的Coral)都使用它来补充人工审核 。但是,正如我们在发布Perspective和Tune时注意到的那样,语言分析模型在历史上远非完美 。它有时会对讽刺性的内容进行错误分类,或者未能检测出辱骂性的信息,而且拼图式的人工智能可能会无意中将"盲人"或"聋子"等不一定是负面的词汇与毒性联系起来,这种拼图法本身也被批评为一种有毒的工作场所文化,尽管Google已经对这种说法提出异议 。
【Google|Google为记者与公众人物开发了一个开源的骚扰过滤器】然而,与Twitter和Instagram等服务的人工智能控制不同,骚扰管理器并不是一个平台方的控制功能 。它显然是一个分类工具,用于帮助管理有时规模巨大的社交媒体反馈,这可能与远在新闻领域之外的人有关--即使他们现在还不能使用它 。

    推荐阅读