Uniquement sur demande
Il n’existe aucune réindexation périodique. Une recherche publique lit les données existantes. Seul le compte gestionnaire du domaine peut déclencher un crawl manuel, sans preuve DNS.
Ce que nous explorons
Les pages HTML publiques du domaine exact, en HTTPS au démarrage. Les redirections vers d’autres domaines sont refusées. Les pages avec paramètres, les chemins sensibles et les fichiers binaires sont exclus. Les scripts JavaScript ne sont pas exécutés.
Respect de robots.txt
Agent : NextStarsCrawl. Les directives Allow, Disallow et Crawl-delay sont prises en compte, y compris sur les redirections. Un robots.txt absent (404) autorise l’exploration ; toute autre erreur empêche le crawl.
Limites
20 pages explorées, 60 URL examinées, 1 Mio par page, 256 Kio pour robots.txt, 10 secondes par requête, 4 redirections maximum et 3 minutes pour commencer de nouvelles pages. Deux crawls simultanés maximum sur le service. Une seconde minimum entre requêtes HTML ; les délais robots plus élevés sont respectés jusqu’à 30 secondes.
Après une interruption
Les travaux sont marqués interrompus au redémarrage. Aucune relance automatique n’est effectuée. Vous pouvez demander un nouveau crawl depuis votre espace.
Informations collectées
Titre, description, langue, métadonnées sociales, technologies détectables, statut HTTP et pages découvertes. Ces éléments déclaratifs ne constituent pas un audit de sécurité. Les favicons distants sont indiqués comme URL sans téléchargement automatique par votre navigateur.