Tools om het web vast te leggen en te converteren

Grote webschraperverbeteringen voor 2019

08 maart 2019

Naast een herontwerp en een heleboel bugfixes hebben we de webschraper van GrabzIt drastisch verbeterd, waaronder:

  • Ondersteuning van de extractie van inhoud in CSS-stijlen
  • U kunt nu het land kiezen van waaruit een scrape wordt uitgevoerd. Op dit moment zijn de keuzes in de VS of het VK.
  • U kunt nu kiezen of u de robots.txt-regels respecteert of niet. Standaard doet een schrapen.
  • Relatieve gegevens kunnen nu automatisch aan elkaar worden gekoppeld, dit is handig als u gegevens hebt die aanwezig zijn tegen bepaalde HTML-elementen, maar niet tegen andere. Door deze items aan elkaar te koppelen, verschijnen de waarden tegen de juiste gegevensitems in de resulterende gegevensset.
  • Bij het maken van een gegevensset kunnen verschillende kolommen bij verschillende sjablonen horen, wat betekent dat sommige kolommen kunnen worden ingevuld vanuit één type pagina en andere kolommen uit verschillende soorten pagina's. Een voorbeeld hiervan is een productvermeldingspagina en een productdetailpagina. Hiermee kunt u de brede details van de lijstpagina krijgen en vervolgens de gedetailleerde informatie van de productdetailpagina.
  • Een andere manier waarop de gegevenssetbuilder is verbeterd, is om de effecten van een bewerking, zoals een bevat, minder dan etc, toe te passen op alle of sommige kolommen.
  • Er zijn er nu meerdere nieuwe commando's beschikbaar via de schraapwizard.
    • Verwijderen - u kunt nu elementen verwijderen, wat in sommige omstandigheden handig is om te voorkomen dat dezelfde elementen meerdere keren worden gelezen.
    • Scrollen - de webschraper kan nu door HTML-elementen scrollen die dit ondersteunen.
    • Aanwijzen - met deze opdracht beweegt u de muis boven een opgegeven element, wat handig kan zijn bij het vrijgeven van informatie.
    • Paginering - dit is een nieuwe functie voor de Click-actie waarmee paginering automatisch kan worden uitgevoerd op geselecteerde paginatielinks. Dit betekent dat zelfs als de scraper ergens in de gepagineerde gegevens klikt, deze als onderdeel van de scrape teruggaat naar de huidige gepagineerde pagina om verder te gaan met de scrape.
  • Het beste deel over GrabzIt's Webschraper is dat je er elke maand gratis gebruik van kunt maken. Dus waar wacht je nog op, probeer het en geef ons je feedback terug. We willen de onze graag de beste online webschraper maken!

Bekijk de nieuwste blogberichten