Tools om het web vast te leggen en te converteren

De webschraper van GrabzIt toegankelijker maken

04 december 2017
Webschrapen vóór de verbeteringen

Ons webschraper is een zeer krachtig hulpmiddel, maar het kan moeilijk zijn voor niet-technische gebruikers om te gebruiken. Zoals u kunt zien in deze instructievideo van 2016.

Om dit probleem op te lossen, verbergen we nu de onbewerkte scrape-instructies tenzij expliciet gevraagd, waarbij het tabblad Scrape-instructie nu standaard scrape-instructies in gewoon Engels weergeeft. In feite kunnen scrape-instructies nu volledig worden toegevoegd en verwijderd zonder ooit code te hoeven schrijven.

We hebben ook onze webschraper-wizard vereenvoudigd en verbeterd intuitive door vier onafhankelijke wizards samen te voegen into een. De nieuwe wizard kan nu meerdere acties uitvoeren, waarbij elke actie alleen wordt weergegeven wanneer deze van toepassing is op een webpagina. Het is ook ontworpen om de gebruiker meer te geven intuitstekende opties op basis van de webpagina die wordt geschraapt.

Maar wat doe je als je schrijft voor verschillende soorten webpagina's? Om dit op te lossen hebben we een nieuwe gemaakt templating systeem waarmee u kunt definiëren welke scrape-instructies moeten worden uitgevoerd voor welke webpagina's en acties en al deze nieuwe functionaliteit is beschikbaar zonder handmatige scrape-instructies te schrijven.

Webschrapen na de verbeteringen

Nog een veel voorkomende klachtint was dat het moeilijk te zeggen was of een scrape werkte zoals verwacht of niet, om deze scrape-resultaten op te lossen en logs zijn nu ook in realtime beschikbaar. U weet dus of een scrape werkt voordat deze eindigt, zodat u de optie hebt om de scrape vroegtijdig af te breken, indien nodig.

Al deze wijzigingen hebben geresulteerd in een veel gebruiksvriendelijkere ervaring, zoals te zien is in de nieuwste tutorial over schrapen aan de linkerkant.

We zijn echter niet klaar met het verbeteren van de bruikbaarheid van onze webschraper met deze wijzigingen, dus als iemand enig idee heeft hoe het verder kan worden verbeterd, alstublieft contact op te nemen!

Bekijk de nieuwste blogberichten