前大厂程序员因开发色情聊天AI被判刑

近日，浙江省余姚市人民法院对一起利用生成式人工智能制作淫秽物品的案件作出了判决。被告郑某曾担任某游戏公司的程序员，他通过组建团队和修改系统提示词，实施了人工智能模型的“越狱”，并设定角色卡创设色情对话场景，为用户提供淫秽内容的技术环境。法院认定郑某等人为制作淫秽物品牟利罪。

郑某曾是国内知名游戏公司的员工，并在AI领域有一定影响。他于2024年接触到国外的一款色情聊天AI后，决定非法开发类似软件以获取利益。郑某邀请同事及网友组建了研发团队，并在2025年1月上线了他们的生成式人工智能模型，接入了多种支付渠道以向用户收费。

该团队通过技术手段破解了基础模型的内容安全限制，允许用户在充值后选择角色与AI进行色情聊天，并生成淫秽的静态或动态图片。经过调查，警方在2025年7月掌握线索并进行立案，最终将郑某等六名被告抓获。 球友会

在运营期间，该模型生成了37万多张静态图片和6000多张动态图片，用户充值总额达24000美元。经鉴定，从中有9000多张静态和5000多张动态图片被认定为淫秽物品。

案件的关键争议在于，利用AI生成的淫秽内容是否构成“制作淫秽物品”。传统上，“制作”通常指人工创作，但在AI时代如何定义这一行为引发争议。法院指出，被告通过反复修改提示词和搭建对话场景，突破了AI的伦理和安全限制，使其成为专门生成淫秽物品的工具。法院最终认定郑某等人以牟利为目的，利用AI制作淫秽物品，情节严重，判处其三年一个月至三年十个月不等的有期徒刑，并处罚金。

法官强调，技术的中立性并不意味着在法律上免责，此案展示了AI技术被滥用带来的刑事风险。法院表示，开发者对生成内容有实质控制，仍应承担相应的刑事责任，并指出在处理此类案件时，应综合考虑传播范围、扩散风险和实际危害，以确保量刑的科学性和适切性。 球友会