Robot

Machine accomplissant des tâches pour lesquelles elle a été conçu grâce à un système de commande automatique.

Par extension machines accomplissant des tâches grâce à l'intelligence artificielle.

Par extension également logiciel qui accomplit des tâches automatiquement.

Lors de la découverte d'une nouvelle URL à indexer, les robots d'indexation vérifient avant toute autre chose si un fichier robots.txt est présent à la racine du site web. Le cas échéant, le robot explore le fichier et se conformera aux instructions renseignées par le webmaster. (Fred Colantonio, Référencement, e-marketing et visibilité web: 30 pratiques pour décideurs et webmasters, Liège : Edi.Pro, 2015, 2e éd., page 36)