今年6月，一条“广东省五华县华阳镇一70多岁老人被殴打致昏迷，其孙子为此跳河自杀，打人者一审被判九年十个月”的短视频在互联网平台传播，引发大量网民关注、讨论。经公安网安部门开展调查发现新楚留香国语，该视频的图文内容系移花接木、肆意编造的网络谣言。据造谣人员任某供述，这段长达几分钟、声色并茂的视频全是由AI合成的。目前，公安机关已依法对任某追究法律责任。
近日，浙江温州苍南公安成功打掉一个编传旧案谣言的MCN机构“网络水军”团伙。进一步侦查发现，相关账号和视频由某网络科技有限公司(实为以MCN模式运营的“网络水军”团伙)使用发布新楚留香国语，该MCN“网络水军”团伙搜集全网敏感热点，随意设置虚假剧情，利用AI软件根据剧情自动生成多处关键情节虚假的文案，安排真人出镜解说，拼接网络中误导性素材后剪辑成所谓“原创”视频。该团伙明知上述视频充斥大量虚假、挑动群众情绪类信息，为博取流量、不法牟利，在多个平台公开发布，后造成虚假视频信息被大量浏览、传播，从而牟取非法流量返利。
中国人民大学刑法学博士、北京市京师律师事务所实习律师黄福涛告诉记者，编造虚假的险情、疫情、灾情、警情，在信息网络或者其他媒体上传播，或者明知是上述虚假信息，故意在信息网络或者其他媒体上传播，严重扰乱社会秩序的，处三年以下有期徒刑、拘役或者管制；造成严重后果的，处三年以上七年以下有期徒刑。如果行为人不仅制作、传播虚假信息，而且目的是骗取互联网平台上不特定多数人的财产，则涉嫌诈骗罪。
2023年8月15日起施行的《生成式人工智能服务管理暂行办法》规定，提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德。不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容。