Tools om het web vast te leggen en te converteren

De webschraper van GrabzIt toegankelijker maken

04 december 2017
Webscraping vóór de verbeteringen

Onze webschraper is een zeer krachtig hulpmiddel, maar het kan voor niet-technische gebruikers moeilijk te gebruiken zijn. Zoals je kunt zien in deze how-to video uit 2016.

Om dit probleem te verhelpen, verbergen we nu de ruwe schraapinstructies, tenzij hier expliciet om wordt gevraagd, waarbij het tabblad Schraapinstructie nu standaard de schraapinstructies in gewoon Engels weergeeft. In feite kunnen scrape-instructies nu volledig worden toegevoegd en verwijderd zonder ooit code te schrijven.

We hebben ook onze webschraperwizard eenvoudiger gemaakt en uitgebreider gemaakt inteffectief door het samenvoegen van vier onafhankelijke wizards into één. De nieuwe wizard kan nu meerdere acties uitvoeren, waarbij elke actie alleen wordt weergegeven als deze van toepassing is op een webpagina. Het is ook ontworpen om de gebruiker meer te bieden intuitgebreide opties op basis van de webpagina die wordt geschraapt.

Maar wat doe je als je een scrape schrijft voor verschillende soorten webpagina's? Om dit op te lossen hebben we een nieuwe gemaakt templating systeem waarmee u kunt definiëren welke scrape-instructies moeten worden uitgevoerd voor welke webpagina's en acties en al deze nieuwe functionaliteit is beschikbaar zonder handmatige scrape-instructies te schrijven.

Webscrapen na de verbeteringen

Nog een veel voorkomende klachtint was dat het moeilijk was om te bepalen of een scrape werkte zoals verwacht of niet. Om deze scrape op te lossen zijn de resultaten en logs nu ook in realtime beschikbaar. U weet dus of een schraping werkt voordat deze eindigt, waardoor u de mogelijkheid heeft om de schraping indien nodig vroegtijdig af te breken.

Al deze veranderingen hebben geresulteerd in een veel gebruiksvriendelijkere ervaring, zoals weergegeven in de nieuwste scraping-tutorial aan de linkerkant.

We zijn echter nog niet klaar met het verbeteren van de bruikbaarheid van onze webschraper met deze wijzigingen, dus als iemand ideeën heeft over hoe deze verder kan worden verbeterd, alstublieft deze link!

Bekijk de nieuwste blogberichten