“人工智能安全与隐私保护”为《信息安全研究》2023年第6期专题方向。本期专题的责任编委老师是中国科学院大学教授、博导，国家计算机网络入侵防范中心主任张玉清老师。
专题推荐论文
▶《ChatGPT在网络安全领域的应用、现状与趋势》
张弛（1）翁方宸（2）张玉清（1,2）
1.国家计算机网络入侵防范中心
2.海南大学网络空间安全学院
▶《大型语言模型内容检测算法和绕过机制研究》
叶露晨 范渊 王欣 阮文波
杭州安恒信息技术股份有限公司
《ChatGPT在网络安全领域的应用、现状与趋势》
论文推荐理由
ChatGPT作为一种大语言模型技术，展现出极强的语言理解和文本生成能力，不仅在各行各业受到巨大的关注，还为网络安全带来新的变革。依托于其强大的能力，ChatGPT广泛应用于安全领域，可提升安全领域的整体势能，起到赋能效应。但同时在ChatGPT的应用过程中也会不断有新的安全问题产生。目前，ChatGPT在网络安全领域的相关研究仍在起步阶段，如何更系统化地总结ChatGPT在网络安全领域的研究情况是目前亟待解决的问题。
论文提出ChatGPT在网络安全领域的赋能效应和安全问题的伴生效应，不仅从助力攻击和助力防御的角度讨论ChatGPT的安全赋能效应，还从内容风险和提示注入攻击角度讨论ChatGPT所伴生的安全风险。论文体系完整、论述严谨，研究选题有现实意义，对如何在网络安全领域开展ChatGPT应用进行了概述和展望。
责任编委点评
论文针对ChatGPT在网络安全领域的应用及其可能伴生的安全问题进行了归纳总结：概述了大型语言模型技术的发展，并对ChatGPT技术及其特点进行了简要介绍；详细介绍了ChatGPT在安全领域的赋能效应，从助力攻击和助力防御两个方面分析了ChatGPT在漏洞挖掘、利用和修复，恶意软件的检测和识别，钓鱼邮件的生成和检测以及安全运营场景下的潜在用途；深入剖析了ChatGPT在安全领域的伴生风险，包括ChatGPT的内容风险和提示注入攻击，并针对风险和攻击进行了详细的分析和探讨；从安全赋能和伴生安全两个角度，针对ChatGPT的能力、ChatGPT的应用场景、大语言模型的安全风险、提示注入攻击、基于语言模型的衍生应用存在安全风险以及对人工智能失控的担忧这6个方面进行总结归纳。论文对ChatGPT在网络安全领域的未来进行讨论和展望，具有重要参考价值。
论文主要内容
论文分为5章。在综合介绍ChatGPT的基础上，分析探讨了ChatGPT网络安全应用需求及现状，研究并设计了ChatGPT助力攻击和助力防御的安全赋能效应，阐述了ChatGPT在漏洞挖掘、利用和修复，恶意软件的检测和识别，钓鱼邮件的生成和检测以及安全运营场景下应用的关键技术。
《大型语言模型内容检测算法和绕过机制研究》
论文推荐理由
近年来大型语言模型技术兴起，类ChatGPT的AI机器人其功能及逻辑极为复杂，虽然其内部设置了大量的安全对抗机制，但越复杂的逻辑有越高的风险。针对ChatGPT在广泛应用下出现的逻辑绕过导致AI机器人成为攻击者的渠道和手段的问题，是目前待解决的问题。
论文研究了针对ChatGPT生成文本的检测思路，同时基于网络攻防的思路，给出了AI生成文本检测引擎设计策略，并针对检测方法，给出了一些绕过技巧。从鉴别的角度分析了逻辑绕过AI生成的安全问题，为学术研究和行业治理提供了可借鉴的探讨方向。
责任编委点评
论文收集了具有代表性的人类文本和AI文本，针对不同的先决条件，设计了4种文本检测场景，分别是文本相似度分析策略、数据挖掘分析策略、LLM生成方式对抗策略以及AI模型分析策略。文章站在攻防角度，做了对抗检测的绕过分析，并从实验得出，简单的数据挖掘和特征工程分析已经很难区分AI生成文本和人类文本之间的差异，同时训练一个AI模型来识别AI文本目前也存在诸多困难。实验得出使用文本相似度分析策略和LLM生成方式对抗策略设计检测算法效果较好，两者可以保持在一个较高的水平，有效识别出AI生成文本。使用检测技术进行安全漏洞模式分析和检测，在ChatGPT使用过程的源头发现安全问题并及时解决，可以更好保证ChatGPT的网络安全。
论文主要内容
论文包括5部分。通过构建人类文本和AI文本数据集设计了4种文本检测场景，指出AI生成文本和人类文本之间的差异极难区分，并模拟攻击者，针对Anti-ChatGPT的几种AI文本检测模型，实验是否能有效进行文本免杀，达到防止AI生成文本滥用的目的。
【本期责任编委·个人简介】
张玉清，中国科学院大学教授、博导，国家计算机网络入侵防范中心主任。主要从事网络与系统安全方面的研究。发表SCI/EI论文100余篇，其中包括IEEE S&P、ACM CCS、USENIX SECURITY、IEEE Transactions on Parallel and Distributed Systems (TPDS)、IEEE Transactions on Cloud Computing (TCC)、INFOCOM等，制定国家及行业标准7个；先后承担国家重点研发计划项目、国家自然科学基金重点项目、国家发展和改革委信息安全专项、国家高科技发展计划（863）项目、中国科学院知识创新工程重要方向项目、国家242信息安全计划项目等课题。主要研究方向：网络攻击与防御、安全漏洞挖掘与利用、人工智能与安全、物联网安全等。
（查看论文原文可登录“信息安全研究”杂志官网）