多模态大模型在根据静态截图生成网页代码（Image-to-Code）方面已展现出不俗能力配资吧官网 配资，这让许多人对 AI 自动化前端开发充满期待。
然而，一个网页的真正价值远不止于其静态布局。用户的点击、筛选、表单提交，乃至游戏中的每一步操作，都构成了其核心的交互功能。这些动态、有状态的交互逻辑，恰恰是传统静态评测无法触及的盲区。
为了填补这一关键空白，上海人工智能实验室联合浙江大学等机构的研究者，提出了IWR-Bench——一个旨在更真实地评估 LVLM 交互式网页重建能力的评测基准。
IWR-Bench 的核心转变在于，它不再提供静态截图，而是要求模型观看一段记录了完整用户操作流程的视频，并结合网页所需的全部静态资源（如图片、图标、子视频等），去理解并复现整个页面的动态行为。任务的复杂性跨度很大，从简单的浏览功能，到需要逆向工程游戏规则的 2048、订机票等应用。
这项任务的难度远超预期。在对 28 个主流模型的全面测试中，即便是表现最好的模型 GPT-5，其综合得分也仅有 36.35 分。这一结果清晰地指出了当前模型的核心短板，IWR-Bench 不仅为领域提供了一个更具挑战性的新目标，也为未来的研究指出了一个新的方向。
核心亮点：
首个视频输入的交互网页重建评测：从" image-to-code "迈向" video-to-code "，对网页事件驱动逻辑的生成提出刚性要求
真实场景、完整资源：113 个网站任务、1001 次交互动作；提供全部静态资源并匿名化命名，逼近真实开发
自动化 Agent-as-a-Judge：用编程代理复现动作轨迹，双重评分同时评估功能正确性（IFS）与视觉保真度（VFS）
28 个 LVLM 系统测评：最佳模型总分 36.35%，IFS 仅 24.39%、VFS 为 64.25%；通用多模态模型显著优于"视频专长"模型
△10 个代表性模型在 IWR-Bench 任务上的评测总览覆盖全面的真实世界网页任务
现有的网页代码生成基准（如 Design2Code、WebSight）主要聚焦于静态截图转代码（image2code），而 IWR-Bench 则专注于动态视频转可交互网页代码 ( video2code ) ：
传统任务： 给 AI 一张网页截图 → 生成 HTML/CSS 代码
IWR 任务： 给 AI 一段用户操作视频 + 网页静态资源 → 生成包含完整交互逻辑的代码
值得一提的是，每个任务都提供了完整的静态资源（图片、图标、视频等），并且所有文件名都经过匿名化处理（如 logo.png → asset_001.png），迫使模型必须依靠视觉匹配而非语义推理。静态资源的引入，也为直接基于渲染结果而非 HTML 代码进行评测提供了关键帮助。
下图为 IWR-Bench 任务和评测总览，模型输入包括 ( a ) 用户交互视频， ( b ) 爬取的静态资源的缩略图与文件路径，要求模型输出 html 代码。评测时，通过 agent 在浏览器上基于 ( c ) 标注的操作轨迹进行操作，以实现基于检查点的自动化评分。
IWR 任务对模型的三大核心挑战包括：
多模态理解：从视频帧精准捕捉布局、文本与组件状态
多模态推理：在时间序列中推断交互逻辑与因果关系，并将视频元素与静态资源可靠匹配与绑定
高级代码生成：将推断出的状态机与事件逻辑实现为可运行的前端代码
IWR 任务的规模和覆盖范围如下：
113 个来自真实网站的任务，分辨率覆盖桌面与移动端（19 种，移动占 10.62%）
共 1001 个交互动作，平均每任务 8.9 步；其中 620 个视觉检查点、403 个逻辑断言
复杂任务包含 2048、扫雷等完整游戏逻辑与 GUI 重建
评测框架和指标
IWR-Bench 采用了一套严格的自动化评测协议，通过编程代理（基于 browser-use 库）来模拟真实用户的网页操作。
评测流程
操作执行：代理按照预定义的动作序列操作生成的网页
功能验证：检查每个操作是否能正确执行，以及逻辑断言是否满足
视觉对比：在关键检查点截图，与参考页面进行多维度对比
双重评分体系
交互功能分数（IFS）：衡量功能正确性
计算成功完成的操作占总操作数的比例 , 操作失败包括浏览器执行失败、逻辑断言失败
SOTA 模型 GPT-5 的 IFS 仅为 24.39%
视觉保真度分数（VFS）：衡量视觉还原度 - 结合低级特征（OCR 文本相似度、DINO 结构相似度）
融合高级评估（由 Gemini-2.5-Pro 进行整体评判）
SOTA 模型 GPT-5 的 VFS 为 64.25%
评测结果
△IWR-Bench 在 28 个模型上的评测结果
研究人员从中得到了三个关键发现。
首先，功能实现是最大瓶颈。
所有模型的 VFS 都显著高于 IFS，这揭示了一个核心问题：
模型能够较好地复现静态视觉效果，但在生成事件驱动逻辑方面严重不足。
例如，GPT-5 能够达到 64.25% 的视觉保真度，但功能正确性仅为 24.39% ——这意味着即使页面"看起来对"，实际操作时有 75% 以上的功能无法正常工作。
其次，thinking 版本带来部分提升。
" thinking "版本模型普遍表现更好：
Claude-Sonnet-4 ( thinking ) vs. 普通版：34.62 vs. 34.00
Claude-Opus-4 ( thinking ) vs. 普通版：34.13 vs. 33.33
Gemini-2.5-Pro ( thinking ) vs. 普通版：30.36 vs. 30.31
但提升幅度有限，说明基础模型能力仍是决定性因素。
另外，现在的专有视频理解模型效果不如通用多模态模型。
专门针对视频理解训练的模型（如 VideoLLaMA3、InternVideo）表现垫底，而通用的多模态大模型表现更优。这表明，该任务与传统的视频理解任务具有显著的差异性。
IWR-Bench 的推出，标志着 AI 从"看懂静态网页"到"理解动态交互"的关键一步。36 分的成绩告诉我们：这条路还很长。这不仅是对 AI 多模态能力的一次全面体检，更是为多模态能力涌现指明了下一阶段的攻坚方向。
IWR-Bench 由上海人工智能实验室联合浙大、2077AI、港中文、斯坦福等单位共同完成，第一作者陈杨是浙江大学硕士生，通讯作者为上海人工智能实验室沈宇帆、石博天。
论文链接：
https://arxiv.org/abs/2509.24709
代码地址：
https://github.com/L-O-I/IWR-Bench
数据地址：
https://huggingface.co/datasets/IWR-Bench/IWR-Bench
项目主页：
https://l-o-i.github.io/IWR-Bench/
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见配资吧官网 配资
港股配资提示：文章来自网络，不代表本站观点。
相关文章
热点资讯
