Les robots ou bots et botnet
Un bot est un programme informatique qui fonctionne de manière automatique ou semi-automatique. Les botnets étant un ensemble de robots utilisables pour des actions de masse. L'anti-bot est l'activité de suppression du trafic généré par les bots. Le bot le plus connu est sans doute Googlebot qui est le robot d’indexation de Google. Il navigue automatiquement sur vos pages Internet, les analyse et les indexe en fonction d’algorithmes. Un autre exemple très courant est le Chatbot, qui permet de discuter automatiquement avec des visiteurs pour leur proposer plus d’interactivité. Malheureusement, l’usage de bot est aussi grandement utile pour des actions malveillantes telles que :- Effectuer des attaques groupées de déni de service (DDoS),
- Générer des clics automatiques sur un lien publicitaire (fraude au clic),
- Capturer de l’information sur les machines compromises (vol puis revente d'informations),
- Exploiter la puissance de calcul des machines ou effectuer des opérations de calcul distribué, notamment pour cassage de mots de passe,
- Voler des sessions utilisateurs par « credential stuffing » et attaques « Brut Force »,
- Miner des cryptomonnaies comme le bitcoin.
- …
Volume du trafic Internet mondial
La répartition du trafic mondial entre humains, bad bots et good bots évolue chaque année, mais le pourcentage de robots malveillants en 2019 n’a jamais été aussi important : 24% de bad bots, 13% de good bots et 63% d’humains. De manière contre intuitive, l’essentiel des bad bots provient des États-Unis (45,9%), puis des Pays-Bas (8%), alors que les flux les plus bloqués par les outils de sécurité viennent de Russie et de Chine. (Source : Imperva bad bot report 2020) Il est donc contre-productif de baser le filtrage anti-bot uniquement sur les adresses IP ou la géolocalisation pour bloquer les robots.Robots et statistiques Google Analytics
L’IAB (Interactive Advertising Bureau) maintient à jour une liste internationale des robots connus. Cette liste est utilisée par Google pour supprimer de vos statistiques le trafic des bots connus. Vous pouvez donc exclure les robots de vos statistiques en cliquant sur une case « Exclure tous les appels provenant de robots connus »
Le souci est assez similaire à celui de l’antivirus, qui ne supprime que les virus connus : le filtre ne supprimera que les robots connus. Les robots qui n’ont pas encore été recensés par l’IAB ne seront donc, malheureusement, pas exclus par cette fonction. Les pratiques qui consistent à repérer le trafic illégitime par son comportement, puis à faire des listes d’exclusions d’adresse IP ou de domaine sont vouées à l’échec, car elles s’avéreront impossible à maintenir à jour. Le bon moyen permettant d’exclure le trafic des bots dans vos statistiques Google Analytics est celui qui consiste à empêcher les robots de venir jusqu’à votre site Internet, en utilisant une solution anti-bot de filtrage extérieure à votre infrastructure.
Les robots et l’infrastructure Internet
La résistance de votre site Internet doit être proportionnée à la charge induite par vos clients :- La bande passante de vos liens Internet doit être supérieure au maximum du trafic attendu.
- Les switchs / routeurs / firewalls, etc. doivent être en mesure de commuter, router et filtrer l’ensemble du trafic.
- La somme des serveurs fronts, applicatifs et bases de données doit être suffisamment puissante (CPU/mémoire, disque) pour traiter l’ensemble des requêtes.
Solutions pour filtrer le trafic des bots
Les bots ont un comportement très différent de celui d’un être humain. Par exemple :- Les clics sont beaucoup plus rapides chez le bot,
- Les enchainements de pages non-cohérents
