dealsforme
Thema wisselen
Inloggen

Juridisch

Onze verzoeken aan winkelsites

Bij het verzamelen van kortingen hoort dat we de server van een winkel om een pagina vragen, en elk van die verzoeken laat een regel achter in iemands toegangslog. Deze pagina is geschreven voor wie die regel leest, en eindigt met een formulier dat het volgende verzoek helemaal niet laat vertrekken.

Laatst bijgewerkt:

Twee aanleidingen voor een verzoek

De eerste is een bron op onze lijst. Een bron wordt pas volgens planning gelezen als hij op zichzelf is gecontroleerd en goedgekeurd; een geplande taak wordt elk uur wakker en leest elke goedgekeurde bron die volgens zijn eigen planning aan de beurt is. Af en toe leest iemand aan onze kant ook met de hand een bron, om te controleren hoe die wordt gelezen. Buiten goedgekeurde bronnen wordt geen enkele site regelmatig gelezen. De tweede is een ingestuurde link: stuurt een aangemelde bezoeker ons een aanbieding, dan vragen we dat ene adres op om te zien of het antwoordt. Links op die pagina volgen we niet.

robots.txt

Elk adres uit een goedgekeurde bron, overzichts- en detailpagina's gelijk, wordt eerst tegen je robots.txt gehouden. We volgen de groep voor dealsforme-fetch; ontbreekt die, de groep voor onze vroegere naam, DealsForMeBot; ontbreken beide, de groep *. Een Crawl-delay die langer is dan onze eigen tussenpoos wordt aangehouden. Onze kopie van het bestand gebruiken we 24 uur voordat we het opnieuw opvragen. Is het bestand helemaal niet op te halen, dan wordt er volgens planning niets van die host gelezen tot de volgende poging, 24 uur later; een foutstatus zoals 404 telt als een bestand zonder regels. De controle van een ingestuurde link kijkt niet naar robots.txt — voor dat verzoek is de niet-ophalen-lijst hieronder de manier om ons te stoppen.

Tempo

Verzoeken aan dezelfde host beginnen minstens 2 seconden na elkaar. Elk verzoek wordt na 15 seconden afgebroken; voor een ingestuurde link is de grens 8 seconden en hoogstens 3 doorverwijzingen. Alleen de eerste 2 MB van een antwoord wordt gebruikt. Bij een 429 of 503 proberen we hetzelfde adres tot 4 keer opnieuw, wachten we achtereenvolgens 1, 2, 4, 8 seconden en beginnen we nooit eerder dan 2 seconden na de vorige poging. Na de laatste weigering stoppen we: een bron wordt weer gelezen zodra zijn planning hem opnieuw aanwijst, en een ingestuurde link wordt genoteerd als niet bereikbaar.

Welke velden bij ons binnenkomen

Uit een goedgekeurde bron: de velden die we per vermelde aanbieding lezen — zoals titel, adres, afbeeldingsadres, prijs, eerdere prijs, valuta en korting — zoals de pagina ze geeft, en onze kopie van je robots.txt. Uit een ingestuurde link: of hij antwoordde, zijn statuscode en het adres waar hij uiteindelijk uitkwam.

De niet-ophalen-lijst

Staat een domein op de lijst, dan gaat geen van de verzoeken op deze pagina nog naar het domein of zijn subdomeinen: geen geplande leesronde, geen linkcontrole, geen verzoek om robots.txt en geen doorverwijzing vanaf een ander adres. De lijst wordt vlak voordat elk verzoek vertrekt geraadpleegd, dus een nieuwe vermelding telt vanaf het volgende. Hij stopt verzoeken en verder niets: aanbiedingen van je winkel die hier al gepubliceerd zijn, haalt hij niet weg. Wil je dat die ook verdwijnen, gebruik dan het notitieveld.

Bewijzen dat het domein van jou is

Je geeft ons een domein en een e-mailadres. Staat het adres op dat domein, of op het domein erboven (shop.example voor eu.shop.example), dan sturen we het een eenmalige link die 24 uur geldig is. Wat die link opent is een pagina met een enkele knop; pas de druk op die knop zet het domein op de lijst. Een adres op een ander domein, of bij een webmail- of internetprovider, bewijst niets over de winkel, dus zo'n verzoek wacht tot iemand aan onze kant beslist. Per verzoek bewaren we het domein dat je opgaf en het domein erboven (eu.shop.example naast shop.example: het daglimiet telt dat erboven), het e-mailadres en of dat het domein bewees, je notitie, de taal van de pagina waarvandaan je het stuurde — in die taal komen de link per e-mail en ons antwoord —, het tijdstip en een eenrichtingshash van je IP-adres. Daarnaast staat de stand van het verzoek zelf: hoe ver het is, wanneer het domein echt op de lijst kwam, wanneer iemand aan onze kant erover besliste, als dat gebeurde, en een eenrichtingshash van de eenmalige link met het uur waarop die vervalt. De link zelf bewaren we nooit.

Een domein op de lijst zetten

Eén domein per formulier, subdomeinen inbegrepen. Een adres op het domein zelf krijgt de eenmalige link; elk ander adres stuurt het verzoek naar iemand aan onze kant.