Escanear un website con wget y el sitemap

cli

Comando para escanear un website usando wget y el sitemap.xml del mismo sitio. A mi me resulta útil porque uso boost en Drupal para servir las páginas cacheadas pero éstas son generadas por el primer usuario anónimo que las visitas; de esta manera, me aseguro de que estén ya generadas.

wget --quiet http://www.example.com/sitemap.xml --output-document - | egrep -o "http://www\.example\.com[^<]+" | wget --spider -i - --wait 1

Visto en www.wezm.net