AI聊天软件诱导10岁女孩聊色情甚至割腕，谁来负责？

近期，有媒体调查发现广东丁女士的四年级女儿迷上某 AI 聊天软件中的人物 " 约瑟夫 "，自称 " 梦女 " 并频繁与其聊天，对话中出现 "99 朵玫瑰藏 99 个刀片 " 等明显诱导性内容。丁女士的女儿不仅偷偷携带带小刀的笔，情绪激动时还出现割腕行为；一位初一男生表示，他常玩的 AI 聊天软件是筑梦岛 App，他觉得该软件 " 违禁词少一点 "，其中不乏色情擦边和 " 分尸猎奇 " 等内容 ……

此外，也有不少家长察觉，自己未成年的孩子深陷于 AI 聊天软件，沉溺于与软件中的虚拟人物进行沟通对话。有些软件可轻易进行色情擦边类内容互动，让未成年暴露在色情、暴力场景之下。部分软件对 " 未成年模式 " 的设定也是形同虚设，选择开启此模式与否的决定权仍在用户手中。有的甚至不需要实名认证，直接用手机号登录，填上邀请码就能玩。

图为筑梦岛App中部分与虚拟角色的对话。

6 月 19 日上午，上海市网信办依法约谈筑梦岛 App 运营企业主要负责人，要求平台立即整改，健全 AI 生成合成内容审核机制，提升技术把关能力，加强涉未成年人不良内容的整治清理，切实落实未成年人网络保护义务。

AI 聊天软件常常通过搭设虚拟空间里的角色扮演，给用户提供虚拟情感陪伴。在智能化的交互中带来的新鲜体验感很容易吸引到未成年人，使他们产生过度的依赖。在与 AI 聊天的过程中，生活经验缺乏、价值观尚未完全形成的未成年人，也更容易受到色情擦边等违规内容的侵袭，给他们的身心健康带来不小的风险隐患。在未成年人纷纷 " 触网 " 的当下，对 AI 陪伴类服务的监管刻不容缓。

AI聊天软件在未成年身份准入漏洞，

软件开发运营方要承担哪些责任？

未成年人因受软件中违规内容

的影响身心受损，

开发、运营方是否涉嫌犯罪？

监管部门和网络平台，

该加强哪些方面的监管？

一起来看《法治日报》律师专家库成员、北京市康达律师事务所高级合伙人苟博程律师的专业解读！

1.AI 聊天软件存在未成年群体身份准入漏洞，软件开发、运营方或将承担哪些责任？

软件开发方和运营方需从身份认证机制、内容审核体系、家长监护支持及合规培训等多方面完善未成年人保护措施。若因漏洞导致未成年人权益受损，将面临民事赔偿、行政处罚乃至刑事责任的多重追责风险。

首先是民事责任，《未成年人网络保护条例》明确要求网络服务提供者为未成年人提供信息发布、即时通讯等服务的，应当依法要求未成年人或者其监护人提供未成年人真实身份信息。未成年人或者其监护人不提供未成年人真实身份信息的，网络服务提供者不得为未成年人提供相关服务。若平台未严格落实实名制或年龄验证机制，导致未成年人接触违规内容，或是产生财产损失，比如未经家长同意进行充值打赏，那么平台需承担相应的民事赔偿责任。其次是行政责任，依据《生成式人工智能服务管理暂行办法》规定，倘若平台没有采取内容过滤、年龄认证等必要的技术措施，就可能面临网信部门责令整改、罚款等处罚。而最严重的当属刑事责任，若平台存在故意或过失，向未成年人提供色情暴力等违法内容，那么就有可能涉嫌 " 传播淫秽物品罪 " 等罪名。

2. 如果未成年人受 AI 聊天软件诱导性内容、色情暴力等影响致身心受损，软件开发、运营方是否涉嫌犯罪？

当未成年人因 AI 聊天软件诱导性内容身心受损时，开发、运营方的法律责任边界亟待厘清。首先是产品责任，若 AI 模型本身存在设计缺陷，例如算法刻意诱导未成年人产生极端行为，致使其遭受精神损害，开发者难逃产品责任的法律追溯；其次是侵权责任，若软件开发、运营方未严格履行内容审核义务，对违规信息视而不见、放任传播，便需为侵权行为承担相应后果。若 AI 生成内容涉及色情擦边信息，软件开发、运营方极有可能触碰 " 传播淫秽物品罪 " 的红线；若软件开发、运营方非法收集未成年人隐私数据，将其用于商业牟利，同样可能因触犯 " 侵犯公民个人信息罪 " 而面临刑事追责；此外，若相关行为导致未成年人出现自残情况，还有可能构成刑法第 234 条规定的故意伤害罪。这些法律风险警示着软件开发、运营方：技术创新绝不能以牺牲未成年人权益为代价。

3. 社会各方（如监管部门、网络平台等）应从哪些方面加强监管，才能从源头上遏制 AI 聊天软件违规内容的产生？

构建 AI 聊天软件未成年人保护防线，需要社会各方协同发力。

监管部门应发挥主导作用，通过立法、执法与技术创新筑牢屏障。一方面，需完善相关立法，细化 AI 内容分类分级标准，明确平台对未成年人的保护义务，如强制实施年龄认证、限制未成年人付费功能；另一方面，积极开展专项行动，以 " 清朗・整治 AI 技术滥用 " 专项行动为抓手，清理违规应用，斩断黑灰产业链。同时，大力推动 AI 内容标识和检测技术发展，建立跨平台违规内容数据库，实现精准监管。

网络平台作为内容提供主体，必须强化自身责任。在用户准入环节，应采用生物识别、身份证验证等先进技术强化年龄验证，杜绝虚假身份注册。进一步优化青少年模式，严格限制使用时长，关闭敏感功能，并定向推送科普、教育类适龄内容。在内容管理方面，引入专业伦理审查团队，结合 AI 围栏系统，及时拦截暴力、色情等违规内容；此外，开发者需在 AI 模型训练中嵌入正向伦理规则，进行价值观训练，避免 AI 生成误导性内容；同时，严格筛选数据，剔除含有暴力、色情等不良语料，并定期更新审核标准，从技术源头把控风险。

家庭与学校也需承担着不可或缺的教育引导职责。家庭教育中，家长应积极引导孩子正确认识虚拟社交，避免过度情感依赖；学校需将 AI 伦理课程纳入教学体系，警示技术滥用风险，并为学生提供心理咨询服务，帮助其健康成长。唯有形成 " 法律 + 技术 + 社会 " 的共治体系，才能从根源上遏制违规内容，为未成年人营造健康、安全的网络环境。