Southeast University's Geng Xin Team: Models Are Not Incapable, but Their Abilities Are "Suppressed" | CVPR 2026
Leiphone
雷锋网
你可能遇到过这样一种情况,一个模型原本只做一件事的时候表现很好,但一旦不断往里面加新任务,它反而开始变差了。不是彻底失效,而是变得不稳定,有些能力开始下降,有些结果开始波动。问题不在于模型不会,而在于它原本会的东西,被后来加入的任务“挤掉了一部分”。 这背后其实有一个很少被说清楚的问题。模型的能力并不是一块一块独立放进去的,而是共享同一套内部表示空间。简单理解,就是所有任务都在“用同一块地方存信息”。 当任务变多时,它们不是并排存在,而是在争这块空间里最重要的那些位置。谁占得多,谁就更稳定;谁被挤掉,谁的性能就下降。这就是为什么,多任务融合经常不是越多越强,而是越多越乱。 现实中,这种问题其实非常普遍。比如一个持续迭代的系统,不断往里加新能力,每一次看起来只是“多做了一件事”,但实际上是在重新分配内部的表示空间。如果没有好的机制,新的能力往往会影响旧的能力,最后系统变成一个需要不断修补的状态,而不是自然扩展。 在这样的背景下,来自东南大学的耿新团队提出了论文《Model Merging in the Essential Subspace》。他们没有再去做更复杂的参数融合,而是换了一个更
