Auto Research时代,47个没有标准答案的任务成了Agent能力必测榜
AI Agent的能力正面临新的考验。近期,Einsia AI旗下Navers lab发布了名为Frontier-Eng Bench的Agent评测基准,它包含了47个多学科交叉、没有标准答案的真实工程任务,旨在评估AI在闭环反馈中持续优化和解决复杂问题的能力。
与以往AI在固定知识库中寻找答案的模式不同,这套基准要求AI扮演“工程师”角色:提出方案、接入仿真器、根据报错反馈调整参数、重新运行并持续迭代。任务涵盖水下机器人控制、动力电池快充优化、量子线路噪声抑制等硬核领域,AI需要在功耗、安全、性能等多重约束下寻找最优解。
评测结果显示,当前AI(如GPT-5.4)虽能表现出一定的优化能力,但距离完全解决这些工程问题仍有很长的路要走。研究还总结出两条关键规律:一是优化过程遵循幂律衰减,后期性能提升越来越难;二是在有限预算下,探索的深度比宽度更为重要,持续的深度迭代比简单的并行试错更能带来突破。
这项工作的深远意义在于,它标志着AI开始从“答题者”向能够在真实反馈循环中“自我进化”的系统转变。它预示着一个“Auto Research”时代的可能:未来,人类研究者提出目标和方向,AI则不知疲倦地负责执行仿真、实验和优化迭代,从而极大加速科研与工程进程。
论文及相关资源已公开。
marsbit05/13 07:05