Tools om het web vast te leggen en te converteren

GrabzIt's Web Scraper API, Data as a Service!

Via de Web Scraper API van GrabzIt kunnen we uw applicatie voorzien van geschraapte gegevens als een webservice waarmee u dat kunt intverwijder geschraapte informatie terug into uw aanvraag. De intintegratie van gegevens into uw toepassing wordt bereikt via een callback-handler, een script of toepassing op een openbaar toegankelijke URL die de gegevens verwerkt die worden verzonden vanaf GrabzIt is Web Scraper. Volledige bestanden worden opeenvolgend naar deze callback-handler gepost, dus het kan bijvoorbeeld beginnen met een reeks afbeeldingen voordat het eindigt met een JSON bestand, kunnen de gegevens in het JSON-bestand vervolgens eenvoudig worden ontleed met behulp van de helper-methoden in de clientbibliotheek. Met deze API kan uw toepassing ook automatisch bepalen wanneer krassen starten en stoppen, en vragen om resultaten opnieuw te verzenden.

Om eerst te beginnen maak een schraapsel kies dan Callback URL optie via het tabblad Exportopties en voer de URL in naar uw callback-handler, bijv http://www.example.com/handler/

Als u problemen ondervindt met uw callback-handler, kiest u Foutopsporingsmodus op het tabblad Opties voor schrapen. Hiermee wordt de reactie uitgevoerd die wordt geretourneerd door de callback-handler into de logboeken.

Callback-handler

Als u geschraapte gegevens in uw callback-handler wilt verwerken, kiest u de JSON- of XML-opties op het tabblad Exporteren, omdat deze de gegevens retourneren in een indeling die gemakkelijk kan worden gelezen door elke objectgeoriënteerde taal.

Voor gegevens die geen JSON- of XML-gegevens zijn, zijn uw verwerkingsopties beperkt omdat de gegevens niet erg machinaal leesbaar zijn, dus de beste optie kan zijn om save het bestand naar schijf of in een database.

Om de te helpen integratieproces GrabzIt biedt de volgende scraper-API's voor de onderstaande talen. Onze code is echter open source en beschikbaar op GitHub er is geen reden waarom u er geen kunt maken voor een programmeertaal die hier niet wordt vermeld of u kunt ons dat vragen maak een bibliotheek voor u. Als je het doet, waarom deel je het dan niet met de wereld?

ASP.NET Scraper API PHP Scraper API Python Scraper API

Terwijl de callback-handler de beste manier van dichtbij is intu kunt de GrabzIt's webschraper ook integreren met uw applicaion intintegreren via Amazon S3, Dropbox, FTP en WebDav.