Het is me opgevallen dat web.archive.org zich niet veel aan trekt van een robots.txt die onderstaande bevat.
Iedere internet gebruiker kan zomaar een extra back-up maken van een willekeurig URL.
Of moet ik ze apart benoemen?
User-agent: *
Disallow: / User-agent: ia_archiver
Disallow: /
Toevoegen.
Die BackUp staat dan wel op Web.Archive
Zelf heb ik nooit geprobeerd wat er gebeurt als je deze kopie van Web.Archive gaat downloaden.
Oorspronkelijk is het idee achter Web.Archive om diverse historische versies van websites te kunnen bewaren voor het nageslacht.
Op zich een mooi idee, waarbij waarschijnlijk de privacy-kwestie niet is meegenomen.
Als ik tekst lees gaat dit over directives en niet over de botte weigering.
Wel willen zij sites van ovetheden/instellingen in hun geheel archiveren.