创刊37周年特别策划 AI大变革，探寻之路 ③安全/权利 威胁我的信息和钱包的AI

"妈妈，我手机屏幕碎了，需要急着转修理费。"

通过信使应用或来电铃声传来的孩子颤抖的声音。过去仅限于词序生硬的文本或粗劣的合成照片的语音钓鱼，与生成型AI相遇后进化为"超级智能犯罪"。只要有仅几秒的SNS视频或音频文件，深度伪造技术就能完美再现声音的抑扬顿挫、呼吸，甚至是面部表情，已成为诈骗手段的首要工具。

披着便利外衣渗入日常生活的人工智能，如今正以最隐蔽而强大的威胁姿态逼近，动摇着消费者的资产、信息和权利。

"以为是真实的孩子声音"……AI培育的深度伪造钓鱼恐怖

向金融当局、警察厅和全球安保业界举报的钓鱼受害形态与过去截然不同。随着AI深度伪造语音技术的普及，利用复制家人或熟人声音索要金钱的变种诈骗急剧增加。

根据全球网络安全企业McAfee的最近调查，全球超过10%的成年人直接经历过或目睹过利用AI进行语音复制诈骗的周边受害。海外发生了利用深度伪造精心合成熟人视频通话画面骗取数十亿韩元的重大事故，国内也接连收到利用超级智能深度伪造语音刺激家长焦虑心理的钓鱼举报。

过去可以通过拼写错误或生硬的用语来怀疑犯罪，但现在AI分析目标人物的SNS痕迹，采用反映平时说话方式、人际关系、个人身份信息的定制化剧本，普通消费者基本上不可能直观辨别。

同样的商品，为什么我买得更贵？……AI制造的'价格歧视'

另一个悄悄掏空消费者钱包的元凶是AI算法应用的'动态定价(Dynamic Pricing)'的无分别扩散。

原本主要用于航空票或住宿预订的动态定价，随着与AI超个性化技术的结合，正渗透到电商、日用消费品、出行服务等生活密切相关的全面消费领域。AI分析消费者的接入设备、过去购买历史、购物车放置时间，甚至实时位置数据。基于这样分析的购买模式，向'现在立即购买可能性高的消费者'提出比正价更高的价格，而仅向犹豫的消费者显示折扣券。

美国白宫经济顾问委员会(CEA)等政策当局最近也通过报告指出，通过算法进行的价格歧视损害消费者福利并加剧信息不对称。看似为消费者减少寻找最低价的疲劳，但实际上却是暴露于大数据算法欺骗之下，比他人支付更高成本的结构性价格歧视。

"一旦破裂就是数千万人"……AI时代，大规模个人信息泄露

AI模型越先进，为学习和运营而收集的个人信息量就越呈爆炸式增长。问题在于AI系统或对话型服务遭受黑客攻击时，受害规模也变得与过去不可同日而语。

实际上全球市场调查机构Gartner预测，随着AI采用加速，隐私侵害和数据泄露事故将成为企业最致命的风险因素之一。还频繁报告了这样的安全漏洞案例：无意中向对话型AI搜索服务输入企业机密或个人金融信息，导致相关数据外泄或被滥用作为学习数据。

人工智能研究大师约书亚·本吉奥(Yoshua Bengio)教授指出，"缺乏控制力的AI系统在安全和伦理方面可能成为动摇整个社会的潜在灾难"，强烈敦促建立技术的安全装置。

在技术便利的背后，如何守护'消费者权益'

专家指出，如果放任AI带来的安全和权利侵害要素，整个数字生态系统的信任可能会瓦解。

如果企业利用AI算法欺骗消费者或任意差别定价，需要紧急建立明确规制并强制透明性的制度措施。同时，在强化企业对个人信息保护的责任的同时，消费者本身也需要具备'数字防御力'——对可疑的语音或视频通话彻底再次确认，谨慎审查个人信息提供同意。

直视AI带来的便利背后隐藏的风险，构建人类掌控技术主导权的安全网，已是不容延迟的课题。