Firecrawl

OpenClaw может использовать Firecrawl как запасной экстрактор для web_fetch. Это размещенный сервис извлечения контента, который поддерживает обход ботов и кэширование, что помогает с сайтами с большим количеством JS или страницами, которые блокируют простые HTTP запросы.

Получите API ключ

  1. Создайте аккаунт Firecrawl и сгенерируйте API ключ.
  2. Сохраните его в конфиге или установите FIRECRAWL_API_KEY в окружении gateway.

Настройка Firecrawl

{
  tools: {
    web: {
      fetch: {
        firecrawl: {
          apiKey: "FIRECRAWL_API_KEY_HERE",
          baseUrl: "https://api.firecrawl.dev",
          onlyMainContent: true,
          maxAgeMs: 172800000,
          timeoutSeconds: 60
        }
      }
    }
  }
}

Примечания:

  • firecrawl.enabled по умолчанию true, когда присутствует API ключ.
  • maxAgeMs контролирует, насколько старыми могут быть кэшированные результаты (мс). По умолчанию 2 дня.

Скрытность / обход ботов

Firecrawl предоставляет параметр режима прокси для обхода ботов (basic, stealth или auto). OpenClaw всегда использует proxy: "auto" плюс storeInCache: true для запросов Firecrawl. Если прокси опущен, Firecrawl по умолчанию использует auto. auto повторяет попытки со скрытыми прокси, если базовая попытка не удается, что может использовать больше кредитов, чем скрапинг только basic.

Как web_fetch использует Firecrawl

Порядок извлечения web_fetch:

  1. Readability (локально)
  2. Firecrawl (если настроено)
  3. Базовая очистка HTML (последний запасной вариант)

См. Веб-инструменты для полной настройки веб-инструмента.

← Назад к документации