hjc黄金城集团官网 新闻与活动 新闻与活动

研究概述

hjc888黄金城中国官方网站工学院信息工程系副教授Go Irie、Teruhiro Kawamura先生（2024年本科毕业，现为新加坡国立大学计算机科学系博士生）、Yuta Goto先生（新加坡国立大学工程研究生院信息工程系硕士课程结业）、日本产业技术综合研究所人工智能研究中心计算机视觉研究组的片冈博夫（Hiroo Kataoka）由高级首席研究员和研究员柳林太郎（Rintaro Yanagi）领导的联合研究小组在世界上第一个提出并创建了一种名为“近似域遗忘（ADU）”的新技术，该技术允许预先训练的大规模视觉语言模型（视觉语言模型：VLM，*1）“忘记”特定域（*2）以免他们被认出来。这证明了一种新的人工智能的可能性，它可以根据使用目的灵活地控制知识，同时减少人工智能统一识别所有图像而导致的错误识别和可靠性风险。

预训练的大规模 VLM 具有很强的泛化能力，可以高精度识别属于不同领域的图像，并在各种应用中表现出了出色的性能。然而，这种“普遍性”并不总是可取的。根据应用的不同，来自任何领域的图像都可以被无区别地识别，这可能会导致误识别或可靠性风险。例如，如果交通监控系统或自动驾驶系统将街道显示屏或广告上描绘的人或汽车的插图识别为人或汽车，而没有将其与真实事物区分开来，则可能会导致错误的分析结果。

作为解决此问题的对策，人们开发了一种名为“近似忘却”的技术，可以选择性地“忘记”模型所学的部分知识。到目前为止，近似遗忘技术已经能够实现对特定数据逐个样本的遗忘，或者对特定类别（例如“人”或“汽车”）的逐类遗忘。另一方面，我们研究组开发的基于领域的近似遗忘可以实现更灵活的知识控制。例如，对于“真人”、“绘画”、“剪贴画”、“草图”等各个领域的汽车图像，如果指定“忘记除“真人”以外的所有图像，则可以选择性地降低其他领域汽车图像的识别精度，同时保持“真人”汽车图像的识别精度（图1）。

这里的挑战是预训练的大规模 VLM 的高泛化能力。由于这种泛化能力，不同的域在 VLM 内部的特征空间中以无法区分的状态相互交叉，因此很难只忘记特定的域。因此，我们的研究小组新引入了“Domain Disentangling Loss（DDL）”，它可以清楚地分离特征空间中的不同域，以及“Instance-wise Prompt Generator（InstaPG）”，它可以捕获每个图像中不同域的外观，从而可以自由地忘记域。

使用四种标准图像识别测试数据进行评估的结果表明，与传统技术相比，该技术的性能平均提高了约16倍。特别是在最困难的条件下，观察到性能提高了约17倍，证明了该方法的有效性。这一结果提出了一个新的框架，允许人工智能根据使用目的进行部分重新配置，保留必要的知识，同时抑制不必要的知识。未来，预计这将提高人工智能模型的安全性和高效重用。

这项研究的结果将作为聚焦论文在神经信息处理系统 (NeurIPS 2025) 上发表，该会议是机器学习领域最负盛名的国际会议之一，将于 2025 年 11 月 30 日至 12 月 7 日在美国圣地亚哥和墨西哥墨西哥城举行。

研究背景

随着使用大量图像和语言数据训练的预训练大规模视觉语言模型（视觉语言模型：VLM）的出现，人工智能现在可以高精度地识别各种物体，而无需额外学习，极大地扩展了人工智能的应用范围。另一方面，也有人指出了保留过多知识的副作用。例如，交通监控系统和自动驾驶系统需要高度准确地识别“人”和“车”等事物，但不需要识别“食物”等事物。以这种方式保留不必要的知识可能会导致错误识别和低效处理，从而损害整个系统的可靠性。

为了解决这些问题，一种名为“近似遗忘”的技术正在引起人们的关注，该技术可以有选择地“忘记”训练模型中不必要的知识。这是一种在保持整个模型性能的同时抑制或删除特定知识的技术。传统上，基于类的遗忘是针对特定的对象类别（例如“汽车”）实现的。

然而，在实际应用中，仅通过类别遗忘可能还不够。例如，即使是同一对象，根据“照片”、“绘画”、“剪贴画”或“素描”等表达格式（领域），也可以具有不同的含义。但由于其泛化能力较高，VLM并不区分这些对象，统一将它们识别为同一个对象。在某些应用中，有必要仅维护特定领域的知识而忘记其余的知识。例如，如果交通监控系统将街道显示屏或广告上绘制的插图或动画中的人或汽车识别为真实物体，则交通量和车辆检测的分析结果可能会出现错误。

这样，如果人工智能统一识别所有图像中的物体，可能会导致可靠性下降或故障。因此，需要新的知识控制来选择性地仅忘记特定领域，而不是忘记整个类别。

研究结果详情

我们的研究小组在世界上第一个创建了一种新的近似忘却技术，称为“近似域忘却（ADU）”。例如，这项技术可以通过对“真人”、“真人”等各种领域（表达格式）的汽车图像指定“忽略非实况照片”，有选择地降低其他领域汽车图像的识别精度，同时保持真人汽车图像的识别精度。 “绘画”、“剪贴画”和“草图”。与传统的基于课堂的遗忘技术相比，有可能实现更详细、更灵活的遗忘。

当尝试实现近似领域忘学习时，最简单的方法是将过去研究过的传统的基于类的近似忘学习技术应用于基于领域的近似忘学习。但验证的结果发现，该方法无法达到足够的遗忘性能。这是因为，由于 VLM 强大的泛化能力，不同域的特征分布在特征空间中错综复杂地交织在一起，即使你试图忘记或只维护一个域，它也会受到其他域的影响，从而很难单独控制它们（图 2a）。

为了解决这个问题，我们的研究小组创建了一种新技术来实现近似领域遗忘。具体来说，我们首先引入了一种称为“域解缠损失（DDL）”的损失函数，它需要分离特征空间上不同域的分布。这是基于“域分布分离的状态⇔可以高精度识别域的状态”的知识，引导用户在遗忘过程中准确识别每个图像的域。结果，我们确认了原本相互交织的不同域的分布可以有效地分离（图2b）。

此外，在查看各个图像时，域的表达方式并不统一。例如，即使图像属于“绘画”的同一范畴，但也有写实的、有抽象的，表现形式可以说是高度多样化的。这种多样性使得使用统一规则捕获域的特征变得困难。因此，我们在模型中引入了一种名为“Instance-wise Prompt Generator (InstaPG)”的机制，可以自适应地对每个输入图像的领域特征进行建模，从而可以灵活地响应每个图像的领域特征差异。

我们使用四个图像数据集评估了近似域遗忘性能。此次评估证实，与将基于类的近似忘却技术应用于基于领域的近似忘却技术相比，平均性能提升约16倍。特别是在最困难的条件下，观察到性能提高了约17倍，证明了该方法的有效性。

领导这项研究的hjc888黄金城中国官方网站副教授入江说：“我们现在处于一个任何人都可以自由使用经过训练的高性能人工智能模型的时代，如何有效地利用这些预先训练的模型是一个大问题。”但是，为了实现可持续的实际操作，我认为有必要开发一种可以根据情况和目的适当控制人工智能功能和性能的机制。特别是，我们意识到人工智能在不区分领域的情况下进行泛化的能力在某些情况下可能会成为其应用的障碍，因此我们接受了挑战，创造了一种前所未有的技术，称为“近似领域​​忘却”。我们希望这项研究的结果将有助于将倾向于过度指定的人工智能模型转变为恰到好处的模型，并有助于实现更安全、更易于使用和更可靠的人工智能模型。

术语

＊1：

视觉语言模型 (VLM)
一种可以同时理解和处理视觉和语言信息的 AI 模型。

＊2：

类和域
类别是指识别目标的类别（例如狗、猫、汽车等），代表“识别什么”。另一方面，领域是指数据来源和表达风格（例如真人、绘画、素描），代表“以什么形式和表现形式存在？”尽管它们属于同一类“汽车”，但现实生活中的汽车和素描汽车属于不同的类别域。

＊3：

t-SNE 方法
一种将高维数据压缩并可视化为二维或三维的方法。

公告信息

国际会议名称

神经信息处理系统 (NeurIPS 2025)

演示文稿标题

视觉语言模型的近似领域忘却

作者

河村浩大、后藤雄太、柳林太郎、片冈宏胜、入江刚

演示者

入江去

hjc888黄金城中国官方网站工学院信息工程系副教授

河村辉宏

hjc888黄金城中国官方网站工学部信息工程系（2024年本科毕业，现新加坡国立大学计算机科学系博士生）

后藤雄太

hjc888黄金城中国官方网站工学研究科信息工程系（硕士课程于 2024 年完成）

片冈广夫

产业技术综合研究所人工智能研究中心计算机视觉研究组高级首席研究员

柳伦太郎

产业技术综合研究所人工智能研究中心计算机视觉研究组研究员