Quem já fez coleta de conteúdo ou dados com AI Agent sabe que raspar páginas web é a tarefa mais suja e cansativa.

No meu fluxo de trabalho diário, uso cookies do Chrome para coletar dados; quando o cookie expira, fica inútil; ao encontrar sites com Cloudflare ou com proteção anti-bot rigorosa, recebo um 403; quanto ao conteúdo do X, nem se fala, o login frequentemente expira, e quando o limite de API acaba, tenho que mudar de estratégia. Uma URL entra, e preciso preparar três ou quatro camadas de fallback; muitas vezes, na última camada, ainda não consigo coletar os dados. O esforço gasto para fazer os dados entrarem é maior do que usar os dados para fazer algo útil.
Testei o XCrawl, e instalei a sua skill no meu bot OpenClaw.
Primeiro teste — pedi ao bot para "capturar o conteúdo de ", e ele retornou dezenas de previsões de mercado com odds, volume de negociações e prazos, tudo estruturado em markdown. Para páginas com renderização dinâmica em JS, um único pedido resolve.
Segundo teste mais avançado — inseri um link de um meu artigo no X. Em poucos segundos, recebi o artigo completo com views, likes, bookmarks e tudo mais. O conteúdo do X é conhecido por ser difícil de raspar; antes, tinha que escrever uma lógica específica, agora é uma questão de uma frase.
Verifiquei o consumo: cada solicitação consome 1-2 créditos. Com proxy residencial embutido e renderização JS, não preciso montar minha infraestrutura. O markdown gerado pode ser alimentado diretamente em um LLM ou armazenado em banco de dados, sem necessidade de limpeza adicional.
O API oferece cinco modos — captura de página única, rastreamento de site completo, sitemap, busca e SERP, cobrindo praticamente todos os cenários de coleta diários. Usuários do OpenClaw podem usar uma skill instalada, e ao se registrar, ganham 1000 créditos, o suficiente para rodar por um tempo.
Honestamente, essa camada de infraestrutura para coleta de dados já deveria estar disponível como serviço. Montar uma própria é caro demais, e a manutenção é ainda mais cansativa. Usar sob demanda economiza tempo, que pode ser investido em análises e decisões realmente valiosas.