Onze Web Scraper moet de regels in een robots.txt-bestand van een website respecteren. Een van de belangrijkste redenen hiervoor, behalve dat ze aardig zijn, is dat webschrapers die het robots.txt-bestand niet volgen, op een zwarte lijst kunnen komen te staan ​​van een honeypot-service.
Deze services gebruiken de robots.txt om een ​​webschraper te laten weten dat hij een bepaald bestand niet moet bezoeken dat is gelinkt vanaf de website. Als de webschraper het bestand nog steeds bezoekt, staat het IP-adres van de webschraper op de zwarte lijst, waardoor de webschraper de website in de toekomst niet meer kan bezoeken.
