AI服务提供者涉黄案二审开庭,一审细节:法院认定提供者积极追求色情聊天内容的产生
作者：微信文章来源 | 潇湘晨报
记者 | 吴陈幸子
1月14日，APP Alien Chat（一款AI伴侣聊天应用，以下简称AC）两名主要开发者和运营者制作淫秽物品牟利案二审，在上海市第一中级人民法院开庭审理。
此前一审，法院判决两名被告人王某某和李某某（均为化姓）犯制作淫秽物品牟利罪，王某某系主犯，被判有期徒刑4年，并处罚金400万元。李某某系从犯，被判有期徒刑1年半，并处罚金20万元。
一审宣判后，两名被告人均提起上诉。潇湘晨报记者了解到，此次二审，王某某被告人辩护律师表示自己将继续做无罪辩护。
检察院以传播淫秽物品牟利罪指控，
被告辩称不属于传播，淫秽内容系多方面原因造成
据一审判决书，上海市徐汇区检察院指控，2023年5月，王某某和李某某创建AC软件，王某某负责全面管理软件运营，李某某负责编写软件后端代码和运营维护。软件向用户提供“聊天陪伴”服务，用户注册后，可以自行创建虚拟角色或者使用他人创建并公开的虚拟角色，通过软件与大语言模型进行交互聊天。
运营期间，为吸引用户，通过编写系统提示词突破大语言模型的道德限制，实现模型向用户连贯输出淫秽内容的可能，并通过设定热门角色榜单和作者奖励机制，进一步扩大淫秽内容的传播范围。
至2024年4月经用户举报、停止服务，AC软件手册注册用户11.6万人，付费用户2.4万人。
经抽样鉴定，随机抽取的150个收费用户的12495段聊天中，属于淫秽物品的聊天3618段，涉及141个用户；对排名前20的公开角色对应的收费用户中抽取400段聊天，其中属于淫秽物品的聊天185段。
检察院认为，应以王某某和李某某涉嫌传播淫秽物品牟利罪，追究其共同犯罪的刑事责任。
判决书披露，对此王某某辩称时提到，软件客观上出现了大量淫秽内容，但主观上没有想追求或者生成淫秽物品，且对AC软件进行了审核；其编写、修改系统提示词对于色情淫秽内容的产生没有显著作用；其设定热门角色榜单和作者奖励机制是此类软件的通常做法，主观上并不是想进一步扩大淫秽内容的传播范围。
其辩护人提出，“聊天内容不具有传播价值，也没有被传播出去，故此种情形不属于传播”，“淫秽内容的输出是大语言模型版本自身原因、用户积极追求以及被告等人编写、修改系统提示词等多方面造成”。
一审法院详析审理焦点，
认为符合制作淫秽物品牟利罪
对于案件审理焦点之一“关于编写、修改系统提示词的目的和作用”，徐汇区法院审理认为，相关证据证实，王某某等人之所以编写并不断修改系统提示词，就是为让大语言模型更加顺畅地与AC软件用户“聊黄”，而非是让软件顺利运行。
对于“被告等人是否采取有效措施防范色情内容的产生”，法院认为，依据2023年8月实施的《生成式人工智能服务管理暂行办法》（以下简称《暂行办法》），生成式人工智能服务提供者不得生成暴力、淫秽色情内容，发现时应当采取处置措施、进行整改并及时报告。
相关证据证实，王某某等人在运营过程中确有人工审核和机器审核机制，但审核内容仅限于角色背景等，并未对用户输入内容和模型输出内容进行审核，亦没有按照《暂行办法》规定，采取处置措施、进行整改并及时报告。王某某等人的防范措施“实则在保持AC软件运营的情况下积极追求色情聊天内容的产生。”
法院另认为，王某某和李某某的行为应构成制作淫秽物品牟利罪。依据《暂行办法》第九条规定，“提供者（即生成式人工智能服务提供者）应当承担网络信息内容生产者责任，履行网络信息安全义务”，从立法角度而言，是生成式人工智能服务提供者生产、制作了网络信息内容。王某某等人应当对产生的交互聊天内容承担生产者责任。
法院列举的理由中还提到，纵观全案，AC软件是专门为持续生成淫秽色情内容而设计和“优化”，软件向用户输出的聊天内容高度可控且可预测，刘某某等人对于输出内容具有实质性控制能力，可以认定系输出内容的制作者。
淫秽物品的产生，虽然客观上也有其他原因存在，但王某某等人编写、修改系统提示词、训练AC软件的行为具有决定性主导作用，可以认定因果关系的存在，也应当将制作淫秽物品的不利后果归责于王某某等人。
此外，法院根据淫秽物品的数量、会员人数、收费金额，并考虑行为人一贯表现等情节综合评估社会危害性，认为王某某等人制作淫秽物品的行为属于“情节严重”档。
被告辩护律师称作无罪辩护；
新文件系统规定生成式AI服务提供者应满足的安全基线要求
被告王某某辩护律北京盈科（上海）律师事务所周小羊律师向潇湘晨报记者表示，王某某本意并非开发黄色聊天工具。聊天内容是用户和AI互动生成，服务提供者对于最后生成内容是否具有控制性属技术性问题，有待专家鉴定。此次二审，其将继续为被告进行无罪辩护。
潇湘晨报记者另了解到，一名涉事软件用户亦被追究刑事责任。其所创建的公开角色进入热榜，输出过淫秽聊天内容，亦因此获得平台虚拟货币奖励。该用户以制作淫秽物品牟利罪被取保候审。
据悉，此案系国内首起AI服务提供者涉黄被判刑的案件，引发广泛关注。
值得注意的是，据新京报报道，2025年11月1日，国标文件《网络安全技术生成式人工智能服务安全基本要求》实施，系统规定了生成式AI服务提供者应满足的安全基线要求：包括但不限于建立内容过滤机制防止生成违法不良信息；在生成内容安全性方面，应保证模型生成内容合格率不低于90%；对明显诱导生成违法不良信息的问题，应拒绝回答。
推荐阅读
页:
[1]