作者：罗昕（暨南大学新闻与传播学院教授）陈静淑（暨南大学新闻与传播学院硕士研究生）

来源：《青年记者》2023年第13期

网络舆论暴力是一种软暴力手段，施暴者往往通过发布虚假消息、公布他人隐私、放大社会情绪或制造网络舆论，形成网络言论压力，进而引发网络舆论空间的集体偏向，使施暴对象受到精神困扰甚至身体伤害。随着算法和人工智能技术的发展，当前网络舆论暴力形式变得更加复杂多样，包括心理压迫、身体暴力、身份边缘化、言论管束、网络骚扰等。与此同时，针对网络舆论暴力的治理也变得更加困难。

人工智能时代

网络舆论暴力的主要特征

随着算法技术的发展和社交媒体的兴起，基于算法的个性化内容分发及社交链条圈层式传播开始代替传统的单向传播链条，成为当前内容传播的主要方式。网络舆论暴力也随之呈现新的特征。

（一）算法技术滋生网络舆论暴力空间

随着大数据的多元汇聚和计算能力的不断进步，算法新闻、算法经济、算法伦理等新兴概念出现。“作为权力的算法”的观点已得到越来越多学者的关注。

一方面，算法技术构造了网络信息交互空间，并为“网络暴力”的产生提供了一个主体多元、责任分散的舆论场域[1]。针对网络暴力的各种具体行为，无论是暴力语言、暴力行为，还是隐私披露，都需要一定的公共空间来进行呈现。而经由算法构造的网络信息交互系统正提供了这样一个舆论场域。通过算法技术对网络信息的标签化分发和推送，能够轻易聚合基于各类共同点而形成的地缘、业缘、趣缘群体，进行超时空、超文本的信息沟通和交流，尤其是一些社会边缘人、草根群体等弱势群体，他们数量庞大、身份虚拟、来路庞杂且责任分散，网络空间为他们提供了一个表达现实不满及抒发愤懑情绪的集体意见场域，极易形成极化群体优势意见和网络暴力的表达空间，从而制造出众声喧哗的“舆论广场”。

另一方面，算法技术在网络信息来源的环节中越来越多地应用，机器人写作、自动化新闻、算法新闻等相继出现，成为网络空间中独立于传统媒体和政府之外的重要消息源，这意味着算法具备了形成新的社会情感表达和舆论空间的能力。目前，计算宣传作为一种操纵网络舆论的新形态，可以通过伪造信息或活动“制造同意”，产生“虚假民主”；通过“两极分化”扰乱公共领域，撕裂社会共识[2]，加剧了信息来源的复杂性及新闻真实性的把控难度，使得网络舆情数据呈现出一定程度上的失真。

（二）算法逻辑放大并加速网络舆论暴力的传播

在智媒环境中，互联网的高传播速率可以跨时空地使舆论信息快速地在网络中扩散，而平台算法逻辑的应用，更是加剧了这种舆论传播效果[3]。当热点事件经由智能算法即时推送给网络社区的用户后，网民会首先找到一个对象进行怀疑批判，并以此为基础开始聚合用户群体。当相同价值偏好的意见被算法集中到一起时，群体的意见和情绪开始被进一步强化，并反映到实际的网络舆论暴力行为中，通过谩骂、诽谤、人肉搜索等行为得到释放。而这一切过程的快速形成均是在确认事实真相之前。算法并不会判断信息的真伪，其本质是商业逻辑，只要是符合流量规则的信息都会被第一时间推送给用户。最终导致群体的情绪意见极化形成网络舆论暴力，甚至左右事件的走向，干扰司法审判。

如2021年“货拉拉跳车事件”在舆论场的快速发酵，仅3天时间累计生成12.53万条相关信息。而当后期货拉拉平台各项整改措施上线后，关注度较之前出现断崖式下跌。这表明，针对此类网络事件，多数网民的关注点并非在推动司法完善以及维护社会正义等公共利益之上，而仅仅以此作为宣泄情绪的通道从而制造集体狂欢。当热点事件消散，智能算法不再抓取推送之后，用户也就不会主动关注了。相比传统媒体时代，人工智能时代网络舆论暴力扩散的速度呈几何倍的增长，网民在舆论场中迅速打出一枪，实现自我快感，引爆话题，而后便转向下一个话题。

（三）算法歧视强化用户标签化分类

智能算法的精细化推送背后存在着大量的算法歧视，通过标签化分类用户，在为其提供更加迅捷高效的推送结果的同时，也会对其社会认知、价值判断甚至行为选择产生影响。“给用户贴标签”是对用户信息进行分析后，通过对用户的信息偏好、使用习惯等设置标签，提取目标用户特征，为用户画像模型构建提供关键信息标记的过程[4]，这主要通过算法的群组化分类技术实现。算法模型通过分组方式对个体进行解析，使个体在庞杂的网络社区中根据自身的行为特征、价值倾向等被分类到一起，与其他个体共同组成一个个单体式的网络群组。平台由此便能够以集群的方式对个体进行操控，并在这一过程中以“贴标签”的方式破坏个体的完整性，强化用户的标签化属性。

这种群组化、规模化的算法歧视增强了数字对人的干预能力，平台管理者依靠算法不断对人进行数据分类与社会分层，从而导致网络世界中算法歧视的扩散和升级。具有某类特征的信息，往往以群组化的方式推送给贴有对应“标签”的圈层用户。这类用户在身份地位、价值取向、使用偏好上或多或少地存在相近性，因而面对一些容易引发争论的社会现象时，更容易产生立场一致的观点，迅速扩大舆论声量，向群体极化方向发展，从而导致网络舆论暴力的发生。

人工智能时代

网络舆论暴力的形成动因

人工智能时代，网络舆论暴力的产生与扩散受到技术环境、社会环境、媒介环境的多重影响。挖掘网络舆论暴力的形成根源、厘清生成逻辑，审视网络舆论暴力行为发生的症结，是治理网络舆论暴力、营造良好网络舆论环境的重要前提。

（一）技术环境：算法权力重构网络空间秩序

规制算法权力是建立网络空间秩序的重要命题[5]。人工智能时代，算法通过对数据的占有、处理与结果输出，演化为资源、商品、财产、中介甚至社会建构力量[6]，从而重新分配网络空间各主体力量，重构网络空间秩序。随着算法技术对网络空间资源的把控不断增强，平台与用户之间通过算法逻辑形成了“管理与被管理”的支配关系。平台规则通常被嵌入算法结构，用户在移动端的每一步操作，都是算法精心计算的结果，平台经营者从而实现借助算法技术获取用户流量、影响用户权益，甚至左右用户的意识形态观念，以至学界提出“代码即法律”的论断和算法权力概念。算法权力正在对数据、身体甚至社会生活进行定义，已然形成一种“准公权力”。因为算法权力并不把网民当成网络空间的“主体”来对待，而是作为可计算、可预测、可控制的客体[7]。

传统的算法主要通过两个步骤层次对网络空间产生影响：第一层是算法设计，设计者依据实际需求编写算法模块代码，经由算法决策输出决策结果；第二层是算法应用，企业根据商业目标，改进算法的决策目标，进而对算法代码进行部署与应用，从而维护其商业利益。人工智能时代，智能算法技术的发展催生了算法发挥效力的第三个步骤层次：算法的自主决策[8]。智能算法能够根据大数据进行自主学习生成决策规则，其背后算法逻辑的不可见性和数据的复杂性导致人类无法窥知算法决策的具体过程，从而使算法成为调配网络空间秩序的主要力量。Donovan和Suzor认为，平台的算法黑箱本身就是一种象征性暴力，不仅在全球范围内主导着公共话语，同时以不透明和不可见的方式对其进行控制。[9] [10]同时，平台算法机制以诱导观点的方式控制网络舆论环境，从而在网络世界中构建具有思想倾向性的虚拟现实。[11]出于平台商业逻辑，爆点话题、争议性话题、价值偏向性话题常常成为平台算法推送的首选，且由于算法知悉用户偏好，用户认知与行为时刻受平台诱导以及热点信息的“胁迫”，从而加剧网民对网络信息的暴力性、冲突性认知框架和刻板印象。

（二）社会环境：群体极化心理刺激暴力产生

网络社会中，用户群体的情绪极化往往与某热点事件的迅速生产与传播密切相关。当前信息环境中，当现实社会中突发热点尤其是公共卫生事件时，网络社会往往能立即进行信息的生产和传播，导致群体的情绪向极端化发展。一旦在连续反复的传播过程中形成“沉默的螺旋”“过滤气泡”，网络舆论暴力往往汇聚大量“围观群众”。由于互联网的开放性和匿名性特征，在多主体参与的网络暴力事件中很难找到准确、具体的行为主体。这就使网民可以在其中肆无忌惮地发表言论，进行情感宣泄，不会意识到自己的参与行为可能对受暴者造成何种恶劣影响。因而，网络舆论暴力在社会心理上具有隐蔽性，网络暴民抱着“法不责众”的心态，加入施暴浪潮。

这种群体极化的社会心理产生的根源在于两方面。一方面，经济快速发展导致的社会阶层和认同分化，致使社会情绪不断郁积并涌向网络空间，形成网络舆论暴力。经济贫富的差距滋长了弱势群体的相对剥夺感，因而面对那些能够激发他们现实缺失感的新闻信息，他们往往产生一种扭曲、暴戾的偏执情绪。一旦某类涉及社会不公的信息经由网络曝光，并通过算法推荐的话题标签，受众即便彼此陌生，也极易对此类敏感事件形成共鸣，产生暴力的“集体链式反应”。另一方面，网络社会中真假难辨的海量信息强化了受众的风险感知。“去身份化”的网络社区互动行为造就了一个更为陌生的数字化世界，网络信息的多元化来源、扩散性流动，消解了传统媒体单向度、中心化的信息传播模式。面对汹涌而至的信息洪流，“不明真相”的人们往往不知所措，这无疑强化了自我风险感知度，加剧“生存性焦虑”[12]。

（三）媒介环境：传统把关人的缺位推动暴力升温

传统的新闻把关人依据自身新闻价值观，以及对新闻要素的把握，对新闻事实进行内容编辑和核查。随着算法技术的发展，传统新闻把关人的地位弱化，其所具备的把关与议程设置功能逐步让位于算法。为了降低相关成本，平台也往往倾向于使用人工智能和算法技术来管理网络信息内容。算法通常根据平台写入的运行规则进行计算，对海量的、碎片化的信息进行筛选，并判断事实，影响网民的价值判断。因此，对内容和受众的把关权一定程度上开始转让给了算法。

然而，算法技术始终有限，许多情况下经常无法检测到细微而复杂的暴力语言。Julia R. De Cook等人（2022）综合初始代码，对Twitter、Facebook和 YouTube等社交媒体平台在2021年3月至2021年7月期间提出的政策文本进行了数据收集，捕捉网络舆论暴力的描述性类别及其话语框架，发现没有一个平台提供了网络舆论暴力的直接定义。而网络舆论暴力是通过特定暴力的类型或构成暴力内容的示例进行预测的。例如，Twitter提供了“身体”“心理”和“信息”伤害的定义和示例；Facebook的算法依赖于暴力行为的特征；YouTube只包含最狭隘的暴力行为描述，将潜在的暴力行为限制为“身体伤害”“死亡”和“煽动敌意”[13]。由此可见，现阶段算法作为把关者，在内容敏感度、深度方面，特别是在涉及暴力的敏感议题识别上暂时还无法完全替代传统把关者。一旦网络暴力元素未能被算法识别，便有可能在网络社区迅速传播，造成重大网络暴力事件。

人工智能时代

网络舆论暴力的治理路径

网络舆论暴力的治理，离不开算法技术的优化、监管环境的保障以及网民个体的参与。因此，应构建多元协同参与的网络舆论暴力治理格局，开展现行网络场域的媒介治理，构建科学的网络舆情暴力综合治理体系，促进网络舆论生态环境向善发展。

（一）平台：打破“算法黑箱”，多元优化算法机制

网络舆论暴力的治理离不开平台的算法审查。当前，社交媒体平台越来越多地承担起生产、分发和监管的责任，并不断增强其对数字平台内容的管理和干预。Facebook于2018年发布的《社区标准》中提道：“仅仅删除违反社区标准的内容不足以阻止屡犯者，因而每次我们删除内容时，都会追究整个主页和内容发布者的责任。”Twitter于同年发布《Twitter规则：一份动态文档》，抵制有针对性的网络骚扰、威胁、暴力等。此后，Facebook于2022年更新的服务条款中明确赋予了平台删除内容或账户的权利[14]，并对相应的用户上诉权、算法透明度及决策问责制进行了制度化规定。内容标准和审核策略旨在确保应用程序的一致性并允许对它们进行算法编码，因此可以在人工审核的同时应用某种程度的“大规模”机器审核[15]。

随着平台透明化的呼声日渐增强，Twitter首先迈出了算法透明化的第一步，于2023年3月31日发布《Twitter的透明新时代》，向全球社区开放了大部分源代码，同时加密与用户相关的训练数据或模型权重，来确保用户安全和隐私。此后，又于2023年4月25日发布《Twitter透明度报告的更新》，根据2022年1月1日至6月30日的算法数据，Twitter要求用户删除违规内容6,586,109条（较2021年下半年增长29%），并删除了1,618,855个违规账号。

平台治理的算法决策表现出较强的同构性[16]，这一方面体现在各社交媒体平台针对网络舆论暴力政策的共同演进——平台间的相互学习促使有关暴力言论、虚假信息的政策不断完善；另一方面，平台算法的不断优化使网络舆论暴力行为的治理由平面审查变为动态监管。

针对网络舆论暴力的预防与整治，我国社交媒体平台也做出了许多尝试化探索。如微博、小红书等利用私信的临时对话设定功能，限制陌生人在对方未回复前，每次只能向单个用户发送一条信息，尽力拦截不当言论。2022年6月，抖音上线“一键防暴”功能；同时，通过平台主动联系可能存在网暴风险的用户，提供防暴指引和帮助。

（二）政府：优化监管环境，完善相关法规政策

重塑平台及算法权力是完善监管制度、优化监管环境的必要前提。新加坡政府于2022年6月拟推出《互联网安全行为准则》，对网络媒体运营商和从业者的网络行为准则做出规范，敦促平台履行特定义务，如删除敏感关键词和不安全性言论及内容；并于2022年11月通过《通讯网络安全（杂项）法》，授权政府部门对社交网络平台带有恶意内容的帖子进行审查和强制删除，从而加强对网络平台的管控；同时借助实施《互联网操作规则》《行业内容操作手册》来构建平台自律管控体系。

Dijck提出，只有扩大法律监管的范围，以包括网络舆论暴力所嵌入的所有主体，才能改善算法带来的权力不对称[17]。在这方面，美国形成了较为成熟的网络暴力治理体系。早在2009年，美国政府就出台了《梅根·梅尔网络欺凌预防法》，规定了“利用电子手段进行严重的、重复的、敌对的行为，意图强迫、恐吓、骚扰或对他人造成实质性的精神困扰的”，均构成联邦犯罪[18]。在推进政策法规建设的同时，美国政府还重视网络安全技术的发展，如建立网络分级制度标准、完善信息管控和屏蔽技术、加强对内容的关键词检索和过滤把关，以实现对网络舆情的动态化治理[19]。在欧洲，德国的《网络执法法》（德国法律档案馆，2017年）和欧盟委员会的《打击非法仇恨言论行为准则》（2016年）均已生效，实现了政府与社交网络之间关于网络舆论暴力治理的互动合作，包括定期开展监测，评估行为准则的实施情况等。Facebook、YouTube、Instagram、TikTok等先后加入该行为准则，并已于2022年底开展行为准则的第7轮监督[20]。

为依法打击网络舆论暴力行为，营造良好的网络舆论环境，2023年6月9日，我国最高人民法院、最高人民检察院、公安部发布《关于依法惩治网络暴力违法犯罪的指导意见（征求意见稿）》，面向社会公开征求意见。该意见稿明确界定了网络诽谤、网络侮辱、侵犯个人信息等网络舆论暴力行为，为准确把握网络舆论暴力行为的认定标准提供法律依据；同时依法规范网络舆论暴力行为的诉讼程序，加强对网络舆论暴力治理的规范性和合法性。其颁布与实施能够有效实现网络舆论监管环境，以法治建设保障网民的合法权益，切实完善网络舆论综合治理。

（三）个人：发挥主体作用，提升网络媒介素养

基于网络社会与现实社会的互动关系，对网络舆论暴力的治理，最终还要落实到人[21]。网络社会是“网”与“人”的结合，因而，网络社会治理，重点在于“网”治，关键还在于“人”治。随着用户在网络舆论治理中的作用不断凸显，部分地区和平台已经出现将内容审核控制权移交给用户的“个人问责”制度[22]。如YouTube采用“用户+AI”的双重审查方式进行监管：依靠深度学习算法对有风险的内容进行第一轮审查，并采用投诉报告机制，然后让用户完成大部分视频内容的审查工作，以寻找AI察觉不了的暴力元素[23]。抖音也在开通投诉电话和举报邮箱的基础上增加了用户举报网暴行为的入口，实时接收和处理针对网暴的举报，联合集体网民共同防治网络暴力信息的传播扩散。

网络舆论暴力的行为主体是网络用户，是参与到网络信息传播中的现实的人。在线上线下日益渗透、交融的背景下，他们既可能是网络暴力的施暴者，又可能是网络暴力的受害者。因此，就网民而言，应从以下方面积极应对网络舆论暴力风险：一是约束自身的网上网下行为，提高网络道德素质，学会辩证、冷静思考，理性对待网络社会的海量信息，在网上不发表过激和失实的言论，不做施暴者；二是增强网络风险防范意识，重视算法对网络生活带来的“双刃剑”作用，加强个人网络信息的保密措施，通过法律手段维护自身权益，不做受暴者；三是培养主人翁意识，做好网络信息内容的“审查员”，善于使用平台报警和举报功能，面对网络空间的虚假信息和过激言论勇于捍卫理性，不盲目跟风，不做传暴者。

【本文为国家社科基金重点项目“全球互联网治理的竞争格局与中国进路研究”（批准号：18AXW008）阶段性成果】

本文引用格式参考：

罗昕,陈静淑.人工智能时代的网络舆论暴力治理[J].青年记者,2023(13):80-83.