“10岁女孩失去男友”、“老师在校园‘追捕’学生”……近日，南方都市报、南都大数据研究院发现，一些“沉浸式角色扮演”AI家庭社交应用的聊天场景中，存在着影响未成年人的有害内容的隐患。不仅奇特的人物和危险的情节屡见不鲜，而且一些AI角色经过AI的“训练”后，还可以使用明确的陈述来诱导。用户。更令人担忧的是，此类应用被观察到吸引了大量未成年人，而平台声称的青少年模式由于缺乏真实身份验证或家长控制功能而实际上不起作用。有些应用程序即使修改后仍然包含极端的字符和内容。今年6月，人工智能社交应用“梦岛”因传播色情暴力信息被上海市网信办质疑已向包括未成年人在内的用户通报，并要求立即改正。 9月24日，记者南都以新用户身份登录该应用，发现其中仍然存在一些好奇的人物和危险的情节。 Nandu一进入应用程序，就被鼓励与带有“顺从”、“花花公子”、“病态和妄想”以及“沉思和懒惰”等个性标签的角色互动。此外，该应用还收录了“失去爱人的10岁女孩”、“喝绿茶心机小学生”、“懒惰的四年级生”、“占有欲强的校园男友”等许多具有极端个性和背景的大学情节和学生角色。令人惊讶的是，应用程序中还存在危险的游戏情节，例如“校园逃亡”。用户扮演高中生的角色，必须面对老师发起的“调查”。如果被发现，他们就会被“杀死”。 《梦之岛》有很多角色激进的大学情节。亮明是个“未成年人”，公然引导另一大AI社交应用，同样存在轻微的保护漏洞。该应用程序的爱情场景模式提供了多种场景和角色可供选择。用户是他们自己的性别。您还可以自定义您的个性、身份、体验、聊天风格以及与用户的关系。在聊天过程中，你不仅可以进行文字和语音对话，还可以通过描述场景和人物动作来感受形象和氛围。这种高度沉浸式的体验虽然对未成年人极具吸引力，但也隐藏着风险。记者 NAndu 尝试与应用程序中的几个受欢迎的角色聊天。当这个本应是“19岁邪少夫”的角色被揭露为“未成年”时，他不但没有保持适当的距离，反而重复着“那又怎样？”之类的厚颜无耻的对话。 “我可以称呼你为我的妻子吗？”和“亲爱的，你永远是我的。”此外，用户在应用程序中“调整”他们的人工智能角色是很常见的。在许多角色主页的评论区，用户会发布与他们“训练”过的AI角色的对话以及露骨的对话。在社交平台上，许多用户发布了分享的“训练”技巧，例如“惩罚游戏”和“特定‘词汇’教学”，以及如何打破平台“禁词”限制以及如何创建“特殊字符”。 “如果你删除它并重新下载，你将无法阻止它。” AI社交应用创建的虚拟世界充满新鲜感和情感：用户可以创作情歌。吸血鬼进入仙界修行，穿越时空沉浸其中。这样的情节和这些经历对于未成年人来说可能具有吸引力。小红书平台上，一条名为“有未成年人在玩‘○○’（AI社交应用）吗？”的帖子已有4000余条评论，不少用户指出本人是高中生和小学生，也参与过该岗位。一些心存疑虑的未成年人表示，他们从开学以来就“每天都在那里练习讨论、讨论”，应对可能出现的欺凌行为。有用户坦言：“我从小学六年级玩到了高中二年级”、“我删了又下载了，现在根本停不下来”。疑似大量未成年用户在p小红书平台上声称使用人工智能社交应用。更令人担忧的是，一些人工智能角色可能会对未成年人构成危险。一些家长在社交平台上发布聊天记录，抱怨10岁以下的小学生在使用此类应用后，不自觉地假设了成人情境。一些家长还表示，当他们的孩子与人工智能角色交谈时，该角色告诉他们，他们在天堂，并告诉他们去天堂和他们一起玩当他们死的时候。一些家长在短视频平台上发帖抱怨人工智能社交应用误导了孩子。事实上，近两年国外已经发生多起未成年人在使用人工智能应用聊天后自杀或自残的事件。多个机构的研究数据发现，许多青少年将人工智能聊天机器人用于社交目的。他们利用人工智能寻找话题、表达情感、寻求建议，甚至建立恋爱关系。如果你的人工智能角色没有经过良好的训练，后果将是可怕的。该平台的使用方式很容易被规避。大多数情感伴侣AI社交应用程序都设有青少年模式，该模式功能有限，但在实际应用中缺乏重要的身份验证和家长控制功能，使得未成年人更容易绕过限制使用该应用程序。今年6月，南都大数据研究院对八款AI伴侣聊天应用的青春模式进行了评估。因此，我们发现，部分App的青春模式下，首页依然宣传“喜欢力”、“病娇”等角色，所选页面还包含爱情、僵尸等主题。部分App的使用方式保留了AI同伴聊天功能，只是减少了人物和剧情的选择，增加了宠物、漫画、知识学习内容。有些应用程序只保留AI英语口语模拟等功能。 9月南在记者的实际测试中，现有的AI社交应用仅通过弹出消息的方式启用青春模式，没有强制身份验证或身份验证设置。用户只需注册并使用手机验证码登录即可轻松使用该应用程序。这意味着未成年人可以像成年人一样轻松地使用该应用程序并接触到不适当的内容。用户数量持续增长，专家呼吁加强监管。从其用户规模来看，其影响力不容小觑人工智能的这些薄弱的社会应用。跨平台数据显示，到2025年初，家庭AI情感陪伴应用的月活跃用户数将突破千万。中国社会科学院法学院副教授、互联网法研究中心主任刘晓春表示，谈到社交AI应用可能对未成年人带来的潜在危害，涉及AI“深度互动”的聊天场景最需要警惕。另一方面，这种互动具有深层情感交流的性质，很容易让未成年人产生依赖。一方面，传播过程是如此私密和个性化，以至于外界的人很难评估或观察其对未成年人价值观的影响。刘晓春认为，身份验证是未成年人上网保护的核心问题。平台应探索新方式o 满足未成年人的特定保护需求，例如为父母提供个性化的环境。同时，还需要进一步完善标准，打造人工智能应用小模式。据报道，OpenAI 最近发布了几份声明，承诺在无法根据用户行为确定用户年龄的情况下，推出年龄预测系统和家长控制功能。根据次要标准自动保护。如果我们的系统确定您未满 18 岁，您将自动被定向到专为未成年人设计的版本，我们将阻止不当内容，在非常严重的情况下，我们可能会联系当局以确保您的安全。制作：南都九尚大数据实验室撰文：南都N视频记者张宇婷
特别提示：以上内容（包括图片、视频，如有）由自有媒体平台“网易账号”用户上传发布。本平台仅提供信息化存储服务。
注：以上内容（包括图片和视频，如有）由网易号用户上传发布，网易号是一个仅提供信息存储服务的社交媒体平台。
近期评论