InternetArchiveBot/FAQ for sysadmins/nl
Deze pagina bevat een lijst met veelgestelde vragen door serverbeheerders over InternetArchiveBot.
V: Waarom doet de bot verzoeken aan mijn site?
- A: InternetArchiveBot is een hulpmiddel dat veel wordt gebruikt op Wikipedia. De bot controleert routinematig artikelen op Wikipedia en repareert, vervangt of verwijdert verbroken links. Om dit te doen, moet het de URL pingen om te controleren of het überhaupt werkt. Het doet dit normaal gesproken door HEAD-verzoeken te verzenden om de belasting van de server te verminderen. In sommige gevallen kan het proberen een volledig GET-verzoek uit te voeren als het HEAD-verzoek mislukt.
V: Er is een robots.txt op mijn site, maar InternetArchiveBot negeert het. Waarom respecteert de bot robots.txt niet?
- A: Dit komt omdat InternetArchiveBot uw site niet echt crawlt voor de inhoud. De inhoud van de site wordt nergens opgeslagen. Wat de bot gewoon doet, is beoordelen of de URL daadwerkelijk een werkende URL is die inhoud levert. Het heeft alleen toegang tot die URL omdat het als bron op Wikipedia wordt gebruikt. U zult merken dat IABot in de meeste gevallen HEAD-verzoeken indient. Als de bron van Wikipedia wordt verwijderd, of als blijkt dat deze niet werkt, zal IABot stoppen met het indienen van verzoeken.
V: Waarom doet de bot meerdere verzoeken tegelijk?
- A: InternetArchiveBot test links per artikel. Dat betekent dat het artikelen één voor één doorneemt en alle links in het artikel test. Als uw site intensief wordt gebruikt voor een specifiek artikel, zal InternetArchiveBot verzoeken doen aan al deze URL's. IABot wacht echter 1 seconde tussen verzoeken die naar dezelfde site gaan.
V: Is er een wachttijd tussen deze tests?
- A: Ja, als de URL als levend wordt beschouwd, wordt een minimale wachttijd van 1 week aangehouden voordat de specifieke URL opnieuw wordt getest. Als de URL dood blijkt te zijn, wordt deze nog 2 keer getest en wordt er tussen elke test ten minste 3 dagen gewacht voordat deze dood wordt verklaard. Als de bot de URL werkend vindt in een van de 2 resterende tests, wordt de wachttijd van 1 week opnieuw ingesteld. Zodra de bot verklaart dat een link is verbroken, stopt hij met verdere tests op de URL.
V: Kan ik de bot blokkeren?
- A: Dat kan, maar het is niet aan te raden. Het blokkeren van de bot kan ertoe leiden dat de bot vaststelt dat uw hele site kapot is en als zodanig wordt behandeld op Wikipedia. Het is aan te raden om contact op te nemen met User talk:InternetArchiveBot en hen te vragen uw domein op de witte lijst te zetten. Eenmaal op de witte lijst zal de bot stoppen met het doen van verzoeken aan uw domein.
V: Wat gebeurt er als ik de bot blokkeer?
- A: InternetArchiveBot doet zijn best om te bepalen of uw site down is gegaan of dat de toegang tot uw site is geblokkeerd. Als het vaststelt dat het is geblokkeerd, zal het uw domein op de witte lijst zetten en automatisch stoppen met het indienen van verzoeken. Als het niet kan detecteren dat het is geblokkeerd, zal IABot uiteindelijk alle URL's in uw domein als stuk gaan behandelen en deze mogelijk vervangen of verwijderen van Wikipedia.
V: Wat gebeurt er als een URL of een site als niet-functioneel wordt beschouwd?
- A: InternetArchiveBot zal stoppen met het doen van verzoeken aan de URL's die het als gebroken beschouwt, en beginnen met het vervangen of verwijderen van de URL's van Wikipedia. Als het wordt vervangen, wordt het meestal vervangen door een archiefkopie die is vastgelegd door de Wayback-machine.
V: We hebben onlangs onze site geherstructureerd, maar InternetArchiveBot doet nog steeds verzoeken aan de oude URL's. Wat doen we?
- A: Er zijn twee opties. De eenvoudigste optie zou zijn om alle oude URL's met behulp van 302-codes te laten omleiden naar hun nieuwe juiste URL's. IABot volgt omleidingen en test de nieuwe URL automatisch. De tweede optie is om contact op te nemen met User talk:InternetArchiveBot en hen te informeren over de nieuwe URL-structuur en hoe ze correct kunnen worden geconverteerd.
V: Wat moet ik doen als ik meer vragen heb?
- A: Het is aan te raden om contact op te nemen met User talk:InternetArchiveBot en een bericht achter te laten op hun overlegpagina. Om dat te doen, klikt u op het tabblad 'Onderwerp toevoegen' rechtsboven op de pagina.