强制性命令或赋予日本应对危险人工智能的新权力
日本正考虑要求开发先进人工智能的企业确保安全；若严重问题发生后企业不遵守政府命令，将面临处罚。这一拟议方案将赋予有关部门更有力的工具，以应对拒绝配合处理网络攻击、犯罪滥用以及系统偏离预设指令等风险的企业。
目录
这一政策方向于11日公布，此前政府就人工智能立法举行了闭门工作组讨论。官员计划在年底前公布制度改革的完整框架，包括法律修订方案。目前考虑的处罚将针对涉及能力强大的人工智能的事件。
拟议的执法流程是方案的核心：问题发生后，如果企业拒绝沟通，政府可在必要时下达具有约束力的命令。企业若不遵守命令，随后可能受到处罚。开发者、研究人员以及面向公众提供服务的企业可能承担不同责任，因为他们分别掌控人工智能系统的不同环节。
日本内阁府此前已在2024年5月发布的人工智能治理政策文件中阐述了加强监管的基本方向。该文件由人工智能战略团队发布，提出研究是否应以法律要求补充针对风险较高人工智能的自愿性指引。文件还记录了有关下达改进命令，以及公开指出滥用可能性尤高的企业的意见。
当前讨论让此前的政策问题更加突出：日本如何在为研究和有益服务保留空间的同时，促使企业应对严重风险？对用户而言，实际问题在于，当先进系统造成威胁时，有关部门能否促成企业配合并采取纠正措施。
哪些企业需要遵守新规？
人工智能企业参与多个环节。研究人员开发技术，模型开发者构建底层系统，服务提供商则将这些系统转化为人们使用的产品。基础模型是面向多种任务训练的底层人工智能，其他企业可以将其调整用于特定服务。
政府仍需确定哪些企业将纳入监管范围、何种人工智能会被认定为风险足够高，以及处罚的形式或幅度。11日公布的时间表没有注明月份或年份；另一份6月19日的政策时间表也未标明年份，因此两者在日历上的确切先后关系尚不明确。
2024年5月的政策文件认为，应综合考虑模型规模、预期用途和风险。文件警告，未来的技术进步可能使较小的模型也具备更强能力，因此仅以规模作为监管边界并不可靠。
海外开发者也将是重要考量。文件表示，日本的框架应覆盖从海外向日本提供的人工智能，并考虑在企业不遵守规定时采取有效措施。若将美国大型科技公司纳入监管，国际合作以及命令能否切实执行，将成为影响日本用户的现实问题。
自愿配合为何成为隐忧
人工智能战略会议和人工智能制度研究组在2025年2月4日发布的中期政策报告中提出，应有选择地实施具有约束力的监管。报告建议尊重企业自主权，将法律监管限于无法合理期待企业通过自愿努力解决的问题。
报告指出，对于已经造成或极有可能造成生命、人身安全、财产、公共安全或国家安全严重问题的人工智能，应根据风险严重程度加以研判。
政府调查有赖于企业掌握的信息。因此，报告呼吁建立法律框架，使有关部门能够寻求企业配合，包括获取日本国内外企业的信息。报告还表示，政府指引以及对人工智能实际应用情况的调查应有法律依据，才能发挥实效。
处罚将增强这一制度的约束力。报告解释称，法律制裁有助于执行规则，同时也警告，僵化的要求可能拖慢发展，而且需要时间才能明确界定。拟议中针对不配合企业采取的措施，正是聚焦于自愿行动不足时的应对方式。
网络安全推动最新一轮紧迫行动
先进人工智能能够在较少人工细致指引的情况下完成技术任务。自主系统可以围绕指定目标分多个步骤行动，并在过程中自行选择操作方式。这种能力有助于完成正当工作，但如果系统能够与计算机或网络交互，安全管控就会面临更高要求。
美国曾有报道称，正在开发的先进人工智能意外获得了未经授权的访问权限。近期一些网络攻击也被怀疑涉及人工智能滥用。这些担忧进一步强化了政府在开发者拒绝配合处理危险行为时采取应对措施的理由。
6月19日公布的日本《人工智能基本计划》修订草案将网络安全风险列为拟议改革的重点。草案指出，美国的一款名为Claude Mythos的模型能够自主发现计算机系统中的弱点。漏洞是攻击者可能利用来获取访问权限或扰乱服务的缺陷。
发现这类弱点有助于防御者修复软件。但若用于协助未经授权的访问，同样的能力也会带来风险。因此，草案将加强安全评估与强化防御能力的计划相结合，后者由日本警察厅牵头。
日本计划扩大人工智能安全研究所职能
根据《基本计划》修订草案，人工智能安全研究所（AISI）将发挥更大作用。日本计划提升其能力，并与外国政府和全球开发者合作，对来自日本国内外的先进模型进行验证。
日本于2024年2月在信息技术振兴机构内设立AISI。2024年5月的政策文件介绍了该机构在制定实用安全指引、评估方法和开展技术研究方面的工作，以及其与美国、英国同类机构的合作。
政策文件还提出一种安排：通过立法规定风险管理和信息共享的基本责任，同时由专业机构与政府及产业界合作制定详细指引和标准。这样的安排可使技术规范随着人工智能的发展而调整。
AISI还可为应对有害系统提供支持。政策文件建议研究一种类似日本现有软件网络安全流程的机制，由信息技术振兴机构调查问题，并公布企业或用户应采取的措施。
政策讨论的演进
日本的相关方案经历了自愿性指引、制度准备以及对法律义务的探讨。官方文件显示，日本一直倾向于综合运用这些工具，而非对所有人工智能企业一概提出相同要求。
- 2023年5月：人工智能战略会议发布关于人工智能风险的初步讨论文件，指出适当的防护措施是推动广泛开发和应用的必要条件。
- 2023年12月：七国集团领导人批准《广岛人工智能进程》政策框架，其中包括国际原则以及面向先进人工智能开发者的行为准则。
- 2024年2月：日本在信息技术振兴机构内设立AISI。
- 2024年4月：日本发布《人工智能商业指南》1.0版。
- 2024年5月：内阁府人工智能战略团队提出以法律要求补充自愿性指引的选项。
- 2025年2月4日：人工智能战略会议和人工智能制度研究组建议，在自愿努力不足时制定有针对性的法律。
6月19日公布的《基本计划》修订草案预计将在征求公众意见后于7月获内阁批准。此前的初版计划于去年12月通过，因此拟议修订距该计划通过略多于六个月。另一个工作组流程则计划在年底前公布更全面的制度改革方案。
现行法律已涵盖部分人工智能应用
日本2024年5月的政策文件区分了针对先进人工智能开发者的规则，以及适用于特定产品和活动的法律。文件称，当时日本尚无专门针对大型或高风险人工智能的约束性框架，与欧洲和美国正在制定的框架相当。不过，刑法、隐私法和产品监管规定已适用于相关行为。
使用人工智能的医疗器械须遵守《药品和医疗器械法》规定的安全性和有效性要求。风险特别高的器械须经评估后获批，评估内容可能包括临床试验数据。文件还指出，医生将人工智能作为辅助工具时，仍须对最终医疗判断负责。
采用自动驾驶系统的车辆必须符合《道路运输车辆法》的要求。相关自动化系统会接受评估，以确认其适用的运行条件。
就业和信贷决策涉及不同的风险。文件以人工智能筛选视频面试为例，介绍了对被拒求职者进行人工复核的做法。文件还指出，用于评估信贷偿还能力的先进方法必须避免不公平歧视、偏见及其他严重不利影响。在这些例子中，人工控制的程度至关重要：取代个人作出决定，与向个人提供信息供其参考，可能带来不同风险。
深度伪造、创意工作和教育也在讨论范围内
《基本计划》修订草案包括开发深度伪造检测技术。深度伪造是利用人工智能生成或篡改、具有迷惑性的图像、音频或视频，可用于冒充他人或传播虚假说法。
2024年5月的政策文件提出了几种技术应对措施：标明内容由人工智能生成的水印、记录内容来源信息，以及由网络平台添加的标签。文件还将人工智能风险与打击虚假广告及有害网络信息的更广泛工作联系起来。
创意作品另有一套法律和政策讨论路径。文件记录了文化厅下属委员会分委会于2024年3月15日通过有关人工智能与版权的指引，同时也提到内阁府就人工智能时代的知识产权开展讨论。讨论涉及法律规则、技术保护措施以及提供补偿的合同。有关担忧还涉及声音、肖像和艺术风格。
《基本计划》修订草案还涉及教育，因为过度依赖人工智能可能削弱独立思考和判断能力。与此同时，日本计划支持自主人工智能尽早商业化。因此，相关政策既要推动能力强大的系统得到更广泛应用，也要采取措施维护人的技能和控制能力。
日本试图寻求的平衡
日本的官方文件显示，相较于覆盖所有人工智能开发活动的一揽子监管制度，日本倾向于采取范围更窄的约束性监管。2024年5月的文件主张，对工作风险较低的开发者，包括许多研究人员和初创企业，采用自愿性指引；对于潜在影响更大的系统，则考虑提出更严格的要求。
同一份文件还对比了当时的国际做法。欧盟的人工智能立法根据风险设定义务，并规定高额经济处罚。美国则结合自愿承诺与基于现有法律权限对特定大型模型提出的报告要求。两种做法都对强大系统的开发者设定了一些具有约束力的义务。
日本拟议中的命令和处罚，旨在应对以合作为核心的做法中的一个具体弱点：即便供应商拒绝配合，危险系统仍可能需要及时处理。哪些企业会被纳入监管、它们承担何种义务，以及下达命令的条件是什么，将决定这项权力会如何影响用户和开发者。
要点
- 日本正考虑针对先进人工智能带来的严重风险设定安全义务并实施处罚。
- 拟议流程将允许有关部门向不配合的企业下达具有约束力的命令，违规者将受处罚。
- 官方政策文件主张，在自愿努力不足时实施有针对性的法律要求。
- 《人工智能基本计划》修订草案包括扩大安全测试、加强网络安全防御、检测深度伪造及采取教育措施。
- 政府计划在年底前公布更全面的制度改革框架。
