aigcbar - null

BrowserBC克隆人类点击：网页操作转化为大模型通用技能

type
status
date
slug
summary
tags
category
icon
password
网址
在人工智能（AI）和大型语言模型（LLM）快速发展的今天，Web Agent（网页智能体）已经展现出了惊人的操作能力。无论是主流的闭源大模型还是开源的轻量级模型，它们都能轻松识别网页上的按钮、输入框，并执行点击、跳转和提交等操作。然而，在实际应用中，Web Agent正面临一个巨大的瓶颈：每当面对新任务或新网站时，即使是最强大的大模型，也必须从零开始摸索整个流程。这种“从零摸索”不仅成本高昂，而且极易出错——Agent可能会陷入死循环、偏离任务意图，甚至在接近成功时提前放弃。
为了解决这一难题，Einsia AI旗下的Navers Lab近日推出了开源项目BrowserBC。这一创新技术提出了一种全新的思路：克隆人类的点击操作，将其转化为可被所有Agent复用的自然语言“技能”。本文将为您深入解读BrowserBC的核心机制，探讨它如何为大模型补齐网页逻辑知识，推动AGI走向更高效的落地。获取更多前沿AI新闻与AI资讯，欢迎访问 AI门户。

从按键精灵到智能技能卡：BrowserBC的三步范式

传统的网页自动化工具（如按键精灵）主要依赖死板的坐标和DOM选择器。一旦网页布局微调或版本更新，原本录制的脚本就会立刻失效。BrowserBC则完全不同，它将人类的浏览器操作轨迹蒸馏为可复用的自然语言技能，其核心流程包含以下三个步骤：
  1. 录制（Record）：当人类在浏览器中执行任务时，系统会完整记录全过程。这不仅包括任务指令和用户的每一个动作（如点击、输入、提交等），还包括每一步的页面观察（截图及结构化的DOM快照）以及页面的实时反馈。
  1. 转写（Translate）：这是BrowserBC最关键的一步。系统不会将操作保存为死板的代码，而是利用大模型将其转写为一份自然语言的“技能卡（Skill）”。这份技能卡就像是一份通俗易懂的说明书，写明了这类任务的目标、关键步骤、判定标准以及需要避开的坑。
  1. 执行（Execute）：最后，将这份技能卡交付给任意一个执行Agent。Agent在面对真实页面时，会根据技能卡的指导自主进行操作，而不是机械地复刻坐标。这意味着，即使页面设计发生了变化，Agent也能举一反三，顺利完成任务。

剥离噪音与隐私：如何提取可迁移的过程性知识

人类在浏览器上的原始操作轨迹通常是非常嘈杂的，可能包含误操作、无意义的等待、重复尝试，甚至涉及个人隐私信息。因此，BrowserBC在转写技能时，有一套严格的清洗和蒸馏机制。
在转写之前，系统会根据语义将操作轨迹切分成不同的子过程，并将其抽成“证据（Evidence）”。在生成技能卡时，BrowserBC遵循一个核心原则：只保留可迁移的过程性知识，彻底剥离会变、会泄露的细节。
具体而言，技能卡会剔除精确的坐标、临时元素ID、登录状态以及隐私文本，而仅保留语义层面的操作逻辑。例如，针对“填写表单”这一任务，技能卡不会记录“点击坐标(500, 300)”，而是记录“根据语义标签找到对应的输入框，填入指定信息，并在提交后确认页面出现成功提示”。这种抽象化的过程性知识，使得技能能够跨越不同的网页版本和设计风格，实现真正的迁移和复用。

技能图谱管理：让大模型的技能库持续进化

如果每一个任务轨迹都生成一个独立的技能，随着使用人数的增加，技能库很快就会变得臃肿、重复甚至相互冲突。为了解决这个问题，BrowserBC引入了“技能图（Skill Graph）”的概念。
每当系统生成一个新的候选技能时，它不会简单地将其堆积在库中，而是将其与已有的技能图进行对比，并执行以下操作之一：
  • 合并（Merge）：如果新技能与已有技能在任务意图、步骤和终止条件上高度相容，系统会将其合并，从而精炼步骤。
  • 特化（Specialize）：如果新技能适用于更具体的场景（例如，从通用的“填写表单”特化为“支付表单”），系统会将其作为子节点连接到通用技能上。
  • 新增（Add）：如果是一个全新的任务类型，则在图中新增一个节点。
通过这种图谱化的组织方式，BrowserBC实现了一套可扩展（Scalable）的知识系统。它支持增量更新，每次新轨迹的输入只会影响局部的关联节点，从而保证了技能库在持续扩张的同时保持高效与有序。

降本增效：强模型一次蒸馏，小模型便宜复用

BrowserBC的另一大亮点在于，它实现了“技能生成”与“技能执行”的彻底解耦。这意味着，我们可以用性能最强、但价格昂贵的大模型来负责一次性录制和转写技能，然后将这些技能分发给更便宜、更轻量的小模型去执行。
在WebArena-Hard和ClawBench等基准测试中，BrowserBC展现出了显著的性能提升：
  • 在WebArena-Hard测试中，注入技能后，Agent的成功率从60.5%大幅提升至81.4%，同时平均工具调用次数减少了27.3%。这表明技能作为“流程先验”，有效减少了Agent的盲目尝试。
  • 在更加严苛的真实线上网站测试（ClawBench）中，无技能的基线模型成功率仅为32.9%，而引入BrowserBC技能后，成功率飙升至68.4%，几乎实现翻倍。
  • 跨模型迁移实验表明，使用强模型蒸馏出的高质量技能，能够让小模型的执行表现逼近大模型。这为企业在实际应用中降低推理成本、提高响应速度提供了一条切实可行的路径。

结语：迈向通用网页浏览的临门一脚

BrowserBC的意义不仅在于提供了一个工具，更在于它指明了Web Agent演进的新方向。在人工智能迈向AGI的进程中，人类在互联网上积累的无数操作轨迹，是一笔巨大的未开发财富。BrowserBC通过将这些轨迹蒸馏为结构化的自然语言知识，为Agent在陌生环境中提供了宝贵的“决策先验”。
未来，随着这种技能积累机制的不断完善，Web Agent将不再局限于“能操作网页”，而是能够像人类专家一样“高效、聪明地使用网页”。想了解更多关于大模型、LLM及人工智能领域的最新突破，请持续关注 AI资讯门户。
Loading...

没有找到文章