Vraagje over screamingfrog

Ik heb een pagina met korte omschrijvingen van de webshops die ik promoot.

Tot vandaag kon ik deze met succes crawlen maar ik krijg nu de melding dat een 4-tal affiliate links "blocked by robots.txt" zijn

Weet iemand waar dit door komt?

De links zijn 

https://ndt5.net/c/?si=14xxx&li=16xxxxx&wi=3xxxxx&ws=

https://dt51.net/c/?si=13xxx&li=15xxxxx&wi=3xxxxx&ws=

https://ndt5.net/c/?si=14xxx&li=16xxxxx&wi=3xxxxx&ws=

https://lt45.net/c/?si=13xxx&li=15xxxxx&wi=3xxxxx&ws=

Dit zijn Daisycon links.

He John,

Het ziet er naar uit dat deze links niet gecrawled worden.

Ofwel, Google besteed geen aandacht aan deze links en slaat ze over.

Maar in principe is dat ook goed, aangezien affiliate links puur en alleen functioneel zijn - er voor zorgen dat jij de commissie krijgt indien de bezoeker een aankoop doet. Een affiliate link heeft alleen een technische functie, maar bied verder geen waarde aan je website.

Wellicht kan iemand hier een aanvulling op geven?

Wel vreemd dat het van de één op de andere dag die melding geeft. Heb je onlangs wat wijzigingen gedaan wat betreft affiliate links?

Bert, thanks ?

Ja ik heb de HTML links vervangen voor URL ? weird.