Voor leveranciers heeft het veel impact of zij zich inschrijven op een aanbesteding met relatieve of absolute gunningscriteria. Daarom heeft Ruben Boer onlangs een monitor ontwikkeld die inzicht geeft in welke partijen gebruikmaken van relatieve of absolute gunningscriteria. Zijn doel? Meer transparantie in de aanbestedingswereld, minder bezwaarprocedures én betere resultaten.
Ruben Boer is student Facility Management en liep voor zijn afstuderen stage bij de Rijksinkoopsamenwerking (RIS). In opdracht van de RIS heeft hij de TenderMonitor ontwikkeld. Wij spraken hem over dit project.
“Het maakt voor een aanbesteding veel uit of je als inkoopprofessional absolute of relatieve gunningscriteria gebruikt. Bij absolute gunningscriteria wordt er van tevoren al nagedacht over de uitwerking van de opdracht. Hieruit volgt een set vaste criteria.
Relatieve gunningscriteria zijn moeilijk voorspelbaar in hun uitwerking, omdat bij een relatieve beoordelingsformule de score van een inschrijver wordt bepaald ten opzichte van andere inschrijvingen. Dit kan ertoe leiden dat kleine prijsverschillen resulteren in grote puntenverschillen. Bijvoorbeeld wanneer één leverancier zich inschrijft voor € 5.000 en een andere voor € 10.000, waarbij de laagste inschrijving de maximale score krijgt en de hogere inschrijving aanzienlijk minder punten.
De uitkomst kan hierdoor sterk worden beïnvloed door één extreme inschrijving, zonder dat vooraf duidelijk is welk prijspunt als redelijk wordt beschouwd. Dit vergroot de kans dat niet de inschrijving met de beste prijs-kwaliteitverhouding wint. Ook loop je zo meer risico op bezwaarprocedures, doordat voor leveranciers vooraf onvoldoende transparant is hoe hun inschrijving zal worden beoordeeld.
Voor leveranciers maakt het type gunningscriteria een groot verschil. Zij krijgen regelmatig te maken met de gevolgen van relatieve beoordelingen, die vaak worden ervaren als een ‘black box’. Dat komt doordat vooraf voor hen onvoldoende inzichtelijk is hoe de uiteindelijke score tot stand komt en deze sterk afhankelijk is van andere inschrijvingen. De TenderMonitor biedt inzicht in welke aanbestedende diensten absolute criteria hanteren. Hierdoor kunnen leveranciers gerichter bepalen op welke aanbestedingen zij zich inschrijven en hun inschrijfstrategie beter afstemmen.
In de TenderMonitor kun je terugzien welke formules de aanbestedende diensten gebruiken. Het is niet mijn bedoeling om deze organisaties te shamen. Mijn doel is wél dat we collectief meer absolute criteria gaan gebruiken, en zo beter nadenken over de beoordelingsformules die we inzetten.”
“Ik liep mijn stage bij de Rijksinkoopsamenwerking, onder leiding van Richard Lennartz. Hij heeft eerder onderzoek laten doen naar gunningscriteria, waarbij alles handmatig is gecheckt. Hij vindt het heel belangrijk om een dashboard hierover in de markt te krijgen.
Voor de TenderMonitor zijn ruim 6000 aanbestedingsdocumenten geanalyseerd. Wat blijkt? Ruim 42 procent gebruikt relatieve beoordelingscriteria. Het is dus geen incidenteel gebruik.”
“Ik vond het begin vrij lastig, want ik wist toen alleen nog dat ik de absolute en relatieve criteria moest onderzoeken. Vervolgens een dashboard creëren is best een IT-klus. Vóór de opleiding Facility Management heb ik de opleiding ICT afgerond, dus die combi was handig. Voor het analyseren en opstellen van het dashboard kwam mijn kennis van programmeren van pas. In het proces heb ik ook AI gebruikt en dat werkte goed.
Tijdens het onderzoek heb ik een enquête uitgezet die is gedeeld op LinkedIn en binnen Nevi. Hierin vroeg ik inkoopprofessionals wat ze vinden van relatieve beoordelingen en welke trends en grafieken ze graag willen zien. Daaruit zijn een aantal eisen voor mijn dashboard gekomen.
Hans Kuiper en Pieter van Dorth hebben me veel geholpen. Kuiper heeft onder meer de Superformule ontwikkeld en Van Dorth werkt bij de Belastingdienst als inkoopeconomisch adviseur en weet ontzettend veel van inkoop en formules. Samen met hen heb ik bijvoorbeeld prompts opgesteld, zodat de beoordeling van alle documenten in goede lijnen zou verlopen. Ik stuurde hen vaak een dataset en kreeg daar feedback op.”
“Alle informatie die we gebruiken, komt van TenderNed en is openbaar toegankelijk. Vanuit de TenderNed-API anonimiseren we alles, waarna we de beschrijvingsdocumenten analyseren. Hier komen dus geen persoonsgegevens in voor. AI analyseert het, waarna de rest via Python verloopt.
In het begin hadden we wel te maken met hallucinaties, maar we hebben nu een grote set regels die dat inperkt. In Python hebben we een gedetailleerd script geschreven, waardoor de analyse heel nauwkeurig verloopt.”
“Op het dashboard heb ik tot nu toe veel positieve reacties ontvangen.”
“Ik ben heel tevreden over hoe de formuleringen eruit zijn gekomen. Zo is er een pagina waar alle uitleg op staat. En ik ben natuurlijk ook blij dat het dashboard zo goed werkt. Het script is zo’n 2000 lijnen code en dat is vrij complex. Verder vraagt het weinig onderhoud, dus alleen bij foutmeldingen hoef ik ernaar te kijken. Op het dashboard heb ik tot nu toe veel positieve reacties ontvangen.”
“Ik ga eerst afstuderen. Eind januari heb ik mijn verdediging, daar heb ik alle vertrouwen in.
De TenderMonitor zou ik graag nog verder willen automatiseren, zodat de documenten direct vanuit TenderNed worden gehaald. Daarnaast wil ik graag een wegingssysteem inbouwen. Stel dat een formule meer risico opbrengt, dan mag die ook zwaarder wegen in de beoordeling van de dataset.
Ik ben door verschillende personen benaderd om verder te werken aan de TenderMonitor. Met één van hen ben ik nu in gesprek om te kijken hoe of wat. Daarnaast zoek ik nu ook naar een baan in de publieke inkoop. Een hoop veranderingen, dus. Ik vind het supertof dat de TenderMonitor zo’n succes is en in de toekomst gebruikt blijft worden!”
Vul hier je gegevens in en ontvang de download in je mail
