Onze crawler

Waarom Onderwijsbaan openbare vacaturepagina's van scholen en besturen leest, hoe je onze bot herkent en hoe je hem laat stoppen.

Laatst bijgewerkt op Invalid Date

Kort samengevat

OnderwijsbaanBot is de crawler van Onderwijsbaan. Hij leest de openbare vacaturepagina's van schoolbesturen en scholen in het primair en speciaal onderwijs. Daaruit halen we de feiten van een vacature: de functie, de school, de plaats en de sluitingsdatum. Op Onderwijsbaan tonen we die feiten met een eigen korte samenvatting en een link naar de vacature op de site van het bestuur. Je eigen tekst nemen we niet over.

Wil je niet dat we jouw site lezen, of wil je dat we vacatures weghalen? Stuur ons een bericht via het contactformulier. Dan stoppen we dezelfde dag.

Waarom we dit doen

Vacatures in het onderwijs staan verspreid over honderden sites van besturen en scholen. Wie werk zoekt, moet ze nu een voor een bij langs. Wij brengen ze samen op één plek en sturen de lezer door naar de site van het bestuur om te solliciteren.

Hoe je de bot herkent

De bot stuurt bij elk verzoek deze user agent mee:

OnderwijsbaanBot/1.0 (+https://onderwijsbaan.online/bot)

We doen ons nooit voor als een gewone browser. We gaan via de netwerken van onze proxyleveranciers, dus het IP-adres wisselt. Herken de bot daarom aan de user agent, niet aan een IP-adres.

Hoe de bot zich gedraagt

  • robots.txt. Voor elke host lezen we eerst robots.txt. Regels voor OnderwijsbaanBot gaan voor, anders volgen we de regels voor alle bots (*). Een pagina die daar verboden is, halen we niet op. We lezen robots.txt elke dag opnieuw.
  • Rustig tempo. Per host doen we één verzoek tegelijk, met minstens twee seconden ertussen. Vraag je in robots.txt om een Crawl-delay, dan houden we ons daaraan. Een site lezen we meestal één keer per dag, 's nachts.
  • Geen omwegen. Krijgen we een blokkade, een firewallpagina of de melding dat we te veel vragen, dan stoppen we en wachten we. We proberen zo'n blokkade niet te omzeilen, ook niet via een ander IP-adres. We loggen niet in en vullen geen formulieren in.
  • Voorbehoud voor AI en tekst- en datamining. Geef je in robots.txt, in een tdmrep.json-bestand, in een header of in een metatag aan dat je inhoud niet door AI verwerkt mag worden, dan sturen we die tekst niet naar een AI-model. Staat er noindex op een vacaturepagina, dan staat onze pagina over die vacature ook niet in zoekmachines.
  • Alleen eigen sites. We lezen de sites van besturen en scholen zelf, en de vacaturesystemen die zij daarvoor gebruiken. Vacaturebanken en recruiters lezen we niet.

Wat we opslaan en wat niet

We slaan op:

  • de feiten van een vacature, zoals functie, school, plaats, uren, salarisschaal en sluitingsdatum;
  • het adres van de vacaturepagina, zodat we ernaar kunnen linken;
  • technische gegevens van het ophalen: het adres, de statuscode, het tijdstip en controlegetallen waarmee we zien of een pagina is veranderd;
  • de versies van robots.txt die we hebben gelezen, als bewijs dat het ophalen was toegestaan.

We slaan niet op:

  • de tekst of de opmaak van je pagina's, op de testkopie hieronder na;
  • namen, e-mailadressen of telefoonnummers van contactpersonen.

Om onze software te testen bewaren we van een steekproef van sites een kopie van de vacaturepagina's, waarin namen, e-mailadressen en telefoonnummers vooraf zijn vervangen. Die kopie staat niet online, wordt alleen voor testen gebruikt en verwijderen we op verzoek.

Om een vacature te lezen geven we de tekst soms aan een AI-model. E-mailadressen en telefoonnummers halen we er vooraf uit. Het model geeft alleen de feiten terug, en die controleren we voordat we iets opslaan. Om te controleren of we een feit goed hebben gelezen, kunnen we intern een kort, opgeschoond stukje tekst bewaren. Dat verwijderen we binnen 30 dagen.

Een vacature die verlopen of verdwenen is, halen we van de site. De gegevens erover verwijderen we na 90 dagen.

Contactgegevens opzoeken

Los van de crawler zoeken we soms de algemene contactgegevens van een school of bestuur op, om ze te kunnen mailen over Onderwijsbaan. Dat is geen crawl: we lezen dan één keer een paar pagina's van de site, zoals de homepage, de contactpagina en de werken-bij-pagina. Zo'n verzoek herken je aan deze user agent:

OnderwijsbaanContact/1.0 (+https://onderwijsbaan.online/bot)

  • Wat we bewaren. Het e-mailadres en telefoonnummer van de school, het adres van de contact- en de werken-bij-pagina, en hoeveel vacatures daar openstaan, met hun titels. We kiezen een algemeen adres, zoals info@ of vacatures@. Een persoonlijk adres nemen we alleen als de site geen algemeen adres noemt.
  • AI. Om het juiste adres en de vacatures te vinden, geven we de gevonden adressen en links en de tekst van de werken-bij-pagina aan een AI-model van Anthropic of OpenAI. Staat in een header of metatag van de pagina dat de inhoud niet door AI verwerkt mag worden, of weten we dat uit je robots.txt of je tdmrep.json, dan gebruiken we voor je site geen AI.
  • Geen omwegen. Ook hierbij doen we ons niet voor als een gewone browser. Houdt je site onze crawler tegen, met een blokkade of omdat we te veel vroegen, dan lezen we niets. Wijst je site ons af, dan proberen we het niet op een andere manier.
  • Stoppen. Heb je ons gevraagd je site niet meer te lezen, dan zoeken we ook niets meer op. Eén bericht via het contactformulier geldt voor allebei.

Je site of vacatures laten verwijderen

Dat kan op twee manieren.

Via het contactformulier. Stuur een bericht via het contactformulier en noem de site of het bestuur. We stoppen dan dezelfde dag met lezen en verbergen de vacatures. Binnen vijf werkdagen verwijderen we alles wat we van die site hebben, ook een testkopie, en sturen we je een bevestiging. Daarna lezen we de site niet meer.

Via robots.txt. Zet dit in de robots.txt van je site:

User-agent: OnderwijsbaanBot
Disallow: /

Zodra we dat lezen, stoppen we en verbergen we de vacatures van die site.

Ben je een contactpersoon en sta je met je naam in een vacature? We slaan geen namen op, maar laat het ons weten via het contactformulier. Dan zoeken we het na en reageren we binnen een maand.

Vragen

Heb je een vraag over de bot, of zie je een fout in een vacature? Laat het ons weten via het contactformulier. Hoe we met persoonsgegevens omgaan, lees je in ons privacybeleid.