Firecrawl

OpenClaw는 web_fetch에 대한 폴백 추출기로 Firecrawl을 사용할 수 있습니다. 이는 봇 회피 및 캐싱을 지원하는 호스팅된 콘텐츠 추출 서비스로, JS가 많은 사이트 또는 일반 HTTP 가져오기를 차단하는 페이지에 도움이 됩니다.

API 키 얻기

  1. Firecrawl 계정을 만들고 API 키를 생성합니다.
  2. 구성에 저장하거나 게이트웨이 환경에서 FIRECRAWL_API_KEY를 설정합니다.

Firecrawl 구성

{
  tools: {
    web: {
      fetch: {
        firecrawl: {
          apiKey: "FIRECRAWL_API_KEY_HERE",
          baseUrl: "https://api.firecrawl.dev",
          onlyMainContent: true,
          maxAgeMs: 172800000,
          timeoutSeconds: 60
        }
      }
    }
  }
}

참고:

  • API 키가 있으면 firecrawl.enabled는 기본적으로 true입니다.
  • maxAgeMs는 캐시된 결과가 얼마나 오래될 수 있는지 제어합니다(ms). 기본값은 2일입니다.

스텔스 / 봇 회피

Firecrawl은 봇 회피를 위한 프록시 모드 매개변수를 노출합니다(basic, stealth 또는 auto). OpenClaw는 항상 Firecrawl 요청에 대해 proxy: "auto" + storeInCache: true를 사용합니다. 프록시가 생략되면 Firecrawl은 기본적으로 auto로 설정됩니다. auto는 basic 시도가 실패하면 스텔스 프록시로 재시도하므로 basic 전용 스크래핑보다 더 많은 크레딧을 사용할 수 있습니다.

web_fetch가 Firecrawl을 사용하는 방법

web_fetch 추출 순서:

  1. Readability(로컬)
  2. Firecrawl(구성된 경우)
  3. 기본 HTML 정리(마지막 폴백)

전체 웹 도구 설정은 Web tools를 참조하십시오.

← 문서로 돌아가기