Tools om het web vast te leggen en te converteren

Een gegevensset opvullen

Soms wanneer een gegevensset samenstellen functie in het Webschraper meer waarden worden toegevoegd into de ene kolom dan de andere. In het onderstaande voorbeeld nadat de eerste pagina is geschraapt, wordt de naam John toegevoegd aan de kolom Naam samen met drie kleuren en op de volgende pagina wordt de naam David toegevoegd samen met nog eens twee kleuren. Om de volgende dataset te geven.

NaamKleur
JohnGeel
DavidRood
Green
Blue
Paars

Deze tabel is echter misleidend omdat niet wordt aangegeven welke naam met welke kleuren is gevonden. In plaats daarvan de pad methode kan worden gebruikt om lege cellen automatisch aan het einde van de gegevenssetkolommen toe te voegen totdat alle kolommen dezelfde lengte hebben. Een voorbeeld van de pad de gebruikte methode is hieronder weergegeven.

Data.save(Page.getTagValue({"class":{"equals":"Name"}}), 'Name', 'Color');
Data.save(Page.getTagValues({"class":{"equals":"Color"}}), 'Name', 'Color');
Data.pad();

Deze schraapinstructies produceren een gegevensset die er zo uitziet.

NaamKleur
JohnGeel
Rood
Green
DavidBlue
Paars

We kunnen dit verder verbeteren door de padValue parameter van de pad methode om de naam te zijn die wordt gevonden door de schraper. Omdat in dit voorbeeld er maar één naam per pagina is, worden de schraapinstructies.

var name = Page.getTagValue({"class":{"equals":"Name"}});
Data.save(name, 'Name', 'Color');
Data.save(Page.getTagValues({"class":{"equals":"Color"}}), 'Name', 'Color');
Data.pad(name);

Hiermee wordt een naam in elke lege cel van de naamkolom geplaatst, zoals hieronder wordt weergegeven.

NaamKleur
JohnGeel
JohnRood
JohnGreen
DavidBlue
DavidPaars