AI虚拟影响者越来越难以识别，社交媒体平台对此感到困惑。尽管已有合成媒体标签政策，但仍未有效解决虚假账户问题。技术进步使得创建AI影响者变得简单，市场迅速膨胀。未来，公众对虚假内容的反感可能促使监管加强。

Anthropic指控DeepSeek等三家中国AI公司滥用其Claude AI模型，创建24,000个虚假账户并进行1600万次交流。尽管“蒸馏”是合法的训练方法，Anthropic警告其可能被用于非法目的，助长专制政权的网络攻击和监控。

免费试用促进了AI应用增长，但虚假账户导致资源浪费。Cursor利用WorkOS Radar实时检测滥用。Yelp助手通过检索增强生成技术提供准确答案并引用来源，解决数据更新和检索挑战。Yelp经验表明，高效AI助手需模块化设计和持续优化。

社交媒体平台X/Twitter将打击使用VPN或代理伪造地区的行为，检测到VPN时将不显示具体国家。此功能主要针对冒充特定地区的账户和水军，普通用户不受影响。X将与合作伙伴合作检测用户网络，若使用代理或VPN，个人资料将显示为不准确地区，以帮助识别虚假账户。

Nous Research在推广开源语言模型Hermes时遭遇虚假账户攻击，导致计算资源浪费。为提高安全性，他们引入Vercel BotID深度分析，成功阻止攻击，确保应用稳定性和用户体验。

美国联邦贸易委员会起诉票务经纪公司Key Investment Group，指控其通过虚假账户和SIM卡等手段非法购买超过37.9万张演唱会门票，包括泰勒·斯威夫特的演出。该公司在一年内花费5700万美元购票，转售获利6400万美元。Key Investment Group否认指控，称FTC的解释扭曲了法律意图。

OpenAI于2024年10月报告，封禁了利用其API在X和Facebook上发布评论的账户集群“A2Z”，这些评论主要赞扬阿塞拜疆，涉及多主题，疑似商业运营。该操作使用AI管理约150个虚假账户，生成多语言内容，但互动量低。封禁后，相关账户在选举期间停止活动，显示AI虽增强能力，也增加了被破坏的脆弱性。

TikTok公开报告了超过十几个秘密影响运动，包括来自中国的一个运动。该公司关闭了一个以虚假账户为基础的网络，用于放大中国的正面叙事。TikTok还介绍了在印度尼西亚、委内瑞拉、德国和伊朗等地进行的影响运动。此外，TikTok将限制国家媒体账户的影响力，禁止其在“为你推荐”页面出现，并在其所在国家以外进行广告。