browser.md 2.6 KB


name: browser

description: 浏览器自动化工具使用指南

浏览器工具使用指南

所有浏览器工具都以 browser_ 为前缀。浏览器会话会持久化,无需每次重新启动。

基本工作流程

  1. 页面导航: 使用 browser_navigate_to_urlbrowser_search_web 到达目标页面
  2. 等待加载: 页面跳转后调用 browser_wait(seconds=2) 等待内容加载
  3. 获取元素索引: 调用 browser_get_visual_selector_map 获取可交互元素的索引映射和当前界面的截图
  4. 执行交互: 使用 browser_click_elementbrowser_input_text 等工具操作页面
  5. 提取内容: 使用 browser_extract_content, browser_read_long_content, browser_get_page_html 获取数据

关键原则

  • 禁止模拟结果:不要输出你认为的搜索结果,而是要调用工具获取真实结果
  • 必须先获取索引: 所有 index 参数都需要先通过 browser_get_selector_map 获取
  • 高级工具:优先使用 browser_extract_content, browser_read_long_content 等工具获取数据,而不是使用 browser_get_selector_map 获取索引后手动解析
  • 操作后等待: 任何可能触发页面变化的操作(点击、输入、滚动)后都要调用 browser_wait
  • 登录处理:
    • 正常登录:当遇到需要登录的网页时,使用 browser_load_cookies 来登录
    • 首次登录:当没有该网站的 cookie 时,需要请求人类协助登录:
    • 调用 browser_get_live_url 获取云浏览器实时画面链接
    • 导航到目标网站的登录页面
    • 通过 feishu_send_message_to_contact 将 live URL 发送给相关人员,请求其在浏览器中完成登录
    • 使用 feishu_get_contact_replies(contact_name="...", wait_time_seconds=300) 等待对方回复确认登录完成
    • 收到回复后使用 browser_export_cookies 将登录态保存下来
  • 复杂操作用JS: 当标准工具无法满足时,使用 browser_evaluate 执行 JavaScript 代码

工具分类

导航: browser_get_live_url, browser_navigate_to_url, browser_search_web, browser_go_back, browser_wait 交互: browser_click_element, browser_input_text, browser_send_keys, browser_upload_file 视图: browser_scroll_page, browser_find_text, browser_screenshot 提取: browser_extract_content, browser_read_long_content, browser_get_page_html, browser_get_selector_map, browser_get_visual_selector_map 高级: browser_evaluate, browser_load_cookies, browser_export_cookies, browser_wait_for_user_action, browser_download_direct_url