dealsforme
Cambiar tema
Entrar

Legal

Nuestras peticiones a webs de tiendas

Recoger descuentos incluye pedir una página al servidor de una tienda, y cada una de esas peticiones deja una línea en el registro de acceso de alguien. Esta página está escrita para quien lee esa línea, y termina con un formulario que impide que la siguiente petición llegue a salir.

Última actualización:

Dos motivos para una petición

El primero es una fuente de nuestra lista. Una fuente solo se lee de forma programada una vez comprobada y aprobada por sí misma; una tarea programada se despierta cada hora y lee cada fuente aprobada a la que le toca según su propio calendario. De vez en cuando alguien de nuestro lado también lee una fuente a mano, para revisar cómo se lee. Fuera de las fuentes aprobadas, ningún sitio se lee con regularidad. El segundo es un enlace enviado: cuando un visitante con sesión iniciada nos manda una oferta, pedimos esa única dirección para saber si responde. Los enlaces de esa página no se siguen.

robots.txt

Cada dirección que sale de una fuente aprobada, tanto páginas de listado como de detalle, se contrasta primero con tu robots.txt. Seguimos el grupo de dealsforme-fetch; si no existe, el de nuestro nombre anterior, DealsForMeBot; si no hay ninguno de los dos, el grupo *. Un Crawl-delay más largo que nuestra propia separación se respeta. Usamos nuestra copia del archivo durante 24 horas antes de volver a pedirlo. Si el archivo no se puede obtener en absoluto, no se lee nada de ese host de forma programada hasta el siguiente intento, 24 horas después; un estado de error como 404 cuenta como archivo sin reglas. La comprobación de un enlace enviado no consulta robots.txt: para esa petición, la forma de pararnos es la lista de «no descargar» de abajo.

Ritmo

Las peticiones a un mismo host empiezan con al menos 2 segundos de separación. Cada una se abandona a los 15 segundos; para un enlace enviado, el límite es de 8 segundos y como mucho 3 redirecciones. Solo se usan los primeros 2 MB de una respuesta. Ante un 429 o un 503 reintentamos la misma dirección hasta 4 veces, esperando sucesivamente 1, 2, 4, 8 segundos y sin empezar nunca antes de 2 segundos después del intento anterior. Tras la última negativa paramos: una fuente se vuelve a leer cuando vuelve a tocarle según su calendario, y un enlace enviado queda anotado como que no responde.

Qué campos llegan a nuestros registros

De una fuente aprobada: los campos que leemos de cada oferta listada —por ejemplo título, dirección, dirección de la imagen, precio, precio anterior, moneda y descuento—, tal como los da la página, y nuestra copia de tu robots.txt. De un enlace enviado: si respondió, su código de estado y la dirección a la que acabó llevando.

La lista de «no descargar»

Cuando un dominio está en la lista, ninguna de las peticiones descritas en esta página le llega, ni a sus subdominios: ni lectura programada, ni comprobación de enlaces, ni petición de robots.txt, ni redirección desde otra dirección. La lista se consulta justo antes de que salga cada petición, así que una entrada nueva cuenta desde la siguiente. Solo detiene peticiones: las ofertas de tu tienda ya publicadas aquí no se retiran por ello. Si quieres que también se quiten, usa el campo de nota.

Demostrar que el dominio es tuyo

Nos das un dominio y una dirección de correo. Si la dirección está en ese dominio, o en el dominio por encima (shop.example para eu.shop.example), le enviamos un enlace de un solo uso válido durante 24 horas. Lo que ese enlace abre es una página con un solo botón; es la pulsación en ese botón la que mete el dominio en la lista. Una dirección en otro dominio, o en un servicio de correo web o proveedor de internet, no prueba nada sobre la tienda, así que esa solicitud espera a que decida una persona de nuestro lado. De cada solicitud guardamos el dominio que nos diste y el dominio por encima (eu.shop.example junto a shop.example: el cupo diario cuenta el de arriba), la dirección de correo y si demostró el dominio, tu nota, el idioma de la página desde la que la enviaste —en ese idioma llegan el correo con el enlace y nuestra respuesta—, la hora y un hash unidireccional de tu dirección IP. Al lado queda el estado de la propia solicitud: en qué paso está, cuándo entró el dominio realmente en la lista, cuándo lo decidió una persona de nuestro lado, si llegó a ocurrir, y un hash unidireccional del enlace de un solo uso con la hora en que caduca. El enlace en sí no se guarda nunca.

Añadir un dominio a la lista

Un dominio por formulario, subdominios incluidos. Una dirección en el propio dominio recibe el enlace de un solo uso; cualquier otra envía la solicitud a una persona de nuestro lado.