Tools om het web vast te leggen en te converteren

Grote webschraperverbeteringen voor 2019

08 maart 2019

Naast een nieuw ontwerp en een heleboel bugfixes hebben we drastische verbeteringen aangebracht aan de webschraper van GrabzIt, waaronder:

  • Ondersteuning van de extractie van inhoud in CSS-stijlen
  • U kunt nu het land kiezen van waaruit een scrape wordt uitgevoerd. Op dit moment zijn de keuzes de VS of het VK.
  • U kunt nu kiezen of u de robots.txt-regels respecteert of niet. Standaard is dit het geval met een scrape.
  • Relatieve gegevens kunnen nu automatisch aan elkaar worden gekoppeld. Dit is handig als u gegevens hebt die aanwezig zijn bij sommige HTML-elementen, maar niet bij andere. Door deze items met elkaar te associëren, verschijnen de waarden bij de juiste gegevensitems in de resulterende dataset.
  • Bij het maken van een dataset kunnen verschillende kolommen tot verschillende sjablonen behoren, wat betekent dat sommige kolommen vanaf één type pagina kunnen worden gevuld, en andere kolommen vanaf verschillende typen pagina's. Een voorbeeld hiervan is een productvermeldingspagina en een productdetailpagina. Hierdoor kunt u de algemene details van de aanbiedingspagina verkrijgen en vervolgens de gedetailleerde informatie van de productdetailpagina.
  • Een andere manier waarop de gegevenssetbouwer is verbeterd, is door toe te staan ​​dat de effecten van een bewerking, zoals een contain, kleiner dan etc, op alle of sommige kolommen worden toegepast.
  • Er zijn er nu meerdere nieuwe commando's beschikbaar via de schraapwizard.
    • Verwijderen – u kunt nu elementen verwijderen, wat in sommige omstandigheden handig is om te voorkomen dat dezelfde elementen meerdere keren worden gelezen.
    • Scrollen – de webschraper kan nu door HTML-elementen scrollen die dit ondersteunen.
    • Zweven – met deze opdracht beweegt u de muis boven een opgegeven element, wat handig kan zijn bij het onthullen van informatie.
    • Paginering – dit is een nieuwe functie voor de actie Klik en maakt het mogelijk dat paginering automatisch wordt uitgevoerd op geselecteerde pagineringslinks. Dit betekent dat zelfs als de scraper ergens in de gepagineerde gegevens wegklikt, als onderdeel van de scrape, hij de weg terug zal vinden naar de huidige gepagineerde pagina om door te gaan met de scrape.
  • Het beste deel van GrabzIt's Webschraper is dat je er elke maand gratis gebruik van kunt maken. Dus waar wacht je nog op, probeer het eens en geef ons alsjeblieft al je feedback terug. We willen graag van ons de beste online webschraper maken!

Bekijk de nieuwste blogberichten