Pourquoi mettre en place de l’anti-bot sur les sites Internet ?

Les robots ou bots et botnet

Un bot est un programme informatique qui fonctionne de manière automatique ou semi-automatique. Les botnets étant un ensemble de robots utilisables pour des actions de masse. L'anti-bot est l'activité de suppression du trafic généré par les bots. Le bot le plus connu est sans doute Googlebot qui est le robot d’indexation de Google. Il navigue automatiquement sur vos pages Internet, les analyse et les indexe en fonction d’algorithmes. Un autre exemple très courant est le Chatbot, qui permet de discuter automatiquement avec des visiteurs pour leur proposer plus d’interactivité. Malheureusement, l’usage de bot est aussi grandement utile pour des actions malveillantes telles que :

• Effectuer des attaques groupées de déni de service (DDoS),
• Générer des clics automatiques sur un lien publicitaire (fraude au clic),
• Capturer de l’information sur les machines compromises (vol puis revente d'informations),
• Exploiter la puissance de calcul des machines ou effectuer des opérations de calcul distribué, notamment pour cassage de mots de passe,
• Voler des sessions utilisateurs par « credential stuffing » et attaques « Brut Force »,
• Miner des cryptomonnaies comme le bitcoin.
• …

Volume du trafic Internet mondial

La répartition du trafic mondial entre humains, bad bots et good bots évolue chaque année, mais le pourcentage de robots malveillants en 2019 n’a jamais été aussi important : 24% de bad bots, 13% de good bots et 63% d’humains. De manière contre intuitive, l’essentiel des bad bots provient des États-Unis (45,9%), puis des Pays-Bas (8%), alors que les flux les plus bloqués par les outils de sécurité viennent de Russie et de Chine. (Source : Imperva bad bot report 2020) Il est donc contre-productif de baser le filtrage anti-bot uniquement sur les adresses IP ou la géolocalisation pour bloquer les robots.

Robots et statistiques Google Analytics

L’IAB (Interactive Advertising Bureau) maintient à jour une liste internationale des robots connus. Cette liste est utilisée par Google pour supprimer de vos statistiques le trafic des bots connus. Vous pouvez donc exclure les robots de vos statistiques en cliquant sur une case « Exclure tous les appels provenant de robots connus ».

Le souci est assez similaire à celui de l’antivirus, qui ne supprime que les virus connus : le filtre ne supprimera que les robots connus. Les robots qui n’ont pas encore été recensés par l’IAB ne seront donc, malheureusement, pas exclus par cette fonction. Les pratiques qui consistent à repérer le trafic illégitime par son comportement, puis à faire des listes d’exclusions d’adresse IP ou de domaine sont vouées à l’échec, car elles s’avéreront impossible à maintenir à jour. Le bon moyen permettant d’exclure le trafic des bots dans vos statistiques Google Analytics est celui qui consiste à empêcher les robots de venir jusqu’à votre site Internet, en utilisant une solution anti-bot de filtrage extérieure à votre infrastructure.

Les robots et l’infrastructure Internet

La résistance de votre site Internet doit être proportionnée à la charge induite par vos clients :

• La bande passante de vos liens Internet doit être supérieure au maximum du trafic attendu.
• Les switchs / routeurs / firewalls, etc. doivent être en mesure de commuter, router et filtrer l’ensemble du trafic.
• La somme des serveurs fronts, applicatifs et bases de données doit être suffisamment puissante (CPU/mémoire, disque) pour traiter l’ensemble des requêtes.

Toute cette infrastructure est potentiellement polluée par le trafic illégitime. Le filtrage du trafic des bots malveillants va vous permettre d’investir dans votre trafic légitime, et ainsi réduire vos coûts d’infrastructure de 5 à 25%.

Solutions pour filtrer le trafic des bots

Les bots ont un comportement très différent de celui d’un être humain. Par exemple :

• Les clics sont beaucoup plus rapides chez le bot,
• Les enchainements de pages non-cohérents

Il est donc possible, grâce à des algorithmes d’intelligence artificielle, en analysant le comportement des clients se connectant à votre site Internet, de supprimer tous les clients qui ne correspondent pas à un comportement humain. Dans un premier temps, si vous êtes en possession de Web Applications Firewalls ou de load-Balancers, il est souvent possible de rajouter les fonctionnalités de filtrage des robots, moyennant des licences supplémentaires. Ce filtrage ne permettra pas de préserver des ressources sur vos équipements de réseaux et de sécurité. Il permettra en revanche de libérer vos serveurs et vos statistiques Internet de la pollution des robots. Les solutions les plus complètes consistent à mettre en place un filtrage extérieur à votre infrastructure, depuis une offre Cloud. Ce filtrage est, la plupart du temps, combiné avec des fonctionnalités de sécurité comme l’anti-DDoS, le Web Application Firewall, ainsi qu’à des fonctionnalités de CDN (Content Delivery Networks). Les seules requêtes qui atteindront vos infrastructures ne seront alors plus que les requêtes légitimes.

Solutions anti-bot proposées par Nomios :

Au sein de notre catalogue, trois éditeurs de solutions fournissent ce service de filtrage, à la fois sur site et dans le Cloud, en mode SaaS :

• F5 Networks : https://www.f5.com/fr_fr/solutions/application-security/bot-management
• Imperva : https://www.imperva.com/products/advanced-bot-protection-management/
• Radware : https://www.radware.com/products/bot-manager

Les équipes d’experts de Nomios peuvent donc vous conseiller et vous accompagner dans la mise en place d’une solution de filtrage anti-bot, adaptée à votre environnement.