AI Claims Lab: vast protocol om AI-claims van PIM-leveranciers te toetsen

Wat is het AI Claims Lab en hoe staat het ervoor?

Het AI Claims Lab is het protocol van PIMvendors om AI-claims van PIM-leveranciers op de eigen data van een koper te toetsen. Elke leverancier verwerkt dezelfde 200 producten, onder dezelfde regels en binnen hetzelfde tijdvenster. De resultaten worden per attribuut en per taak gemeten.

Stand van zaken: de eerste gepubliceerde leveranciersronde staat gepland. Er zijn nog geen resultaten openbaar. Deze pagina publiceert het protocol en het scoreformulier, zodat kopers ze nu al in hun eigen selectie kunnen gebruiken.

Het lab bestaat omdat AI-demo's weinig voorspellen. Demodata is schoon en uitgekozen om te slagen. De pijler over AI in PIM beoordeelt welke AI-toepassingen productierijp zijn. Dit protocol toetst of een bepaalde leverancier die toepassingen op een bepaalde catalogus ook waarmaakt.

Het protocol test de vier toepassingen die PIMvendors productierijp met review noemt:

1. Attribuutextractie uit ongestructureerde bronnen.
2. Classificatie in een interne taxonomie en één branchestandaard.
3. Vertaling naar twee doeltalen.
4. Kanaalspecifieke omschrijvingen voor twee kanalen.

Daarnaast controleert het twee grenzen: laat een leverancier velden leeg als de bron zwijgt, en blijft hij van compliance-attributen af. Beide sluiten aan op de regel uit AI-attribuutextractie: geen bron, geen waarde. De taken classificatie en vertaling volgen de meetwaarden uit automatisch classificeren met AI en AI-vertaling.

Hoe stel je de testset van 200 producten samen?

De koper levert 200 producten aan, zo verdeeld dat elk bekend faalpatroon van AI meerdere keren voorkomt. De stewards van de koper bouwen een antwoordsleutel die leveranciers nooit zien.

Per product levert de koper de brondocumenten en de lijst doelattributen van de productfamilie. De goedgekeurde waarden gaan in een achtergehouden antwoordsleutel. De taken vertaling en omschrijving krijgen goedgekeurde brontekst en attributen als input, met moedertaalreviewers die klaarstaan voor nabewerking.

Houd de set gedurende de hele ronde gelijk. Wie producten tussen leveranciers wisselt, maakt de uitkomsten onvergelijkbaar.

Welke taken en meetwaarden gebruikt het protocol?

Elke taak heeft eigen meetwaarden, en bij elke taak worden tijd per artikel en kosten per artikel vastgelegd. Gemiddelden over attributen of talen verschijnen alleen naast de gedetailleerde cijfers.

Definities bij het scoren:

• Precision: correct ingevulde waarden gedeeld door alle ingevulde waarden, per attribuut.
• Recall: correct ingevulde waarden gedeeld door de waarden die in de bron staan, per attribuut.
• Menselijk correctiepercentage: het aandeel tekens dat de reviewer wijzigt, gemeten met een edit-distance-maat.
• Niet-onderbouwde claim: elke bewering die geen steun vindt in een aangeleverd attribuut.

Welke spelregels gelden voor de test?

Elke leverancier krijgt identieke input, hetzelfde tijdvenster en geen toegang tot de antwoordsleutel. Leveranciers richten hun product in zoals ze dat voor een klant zouden doen en geven alles op wat ze gebruikten.

1. Alle leveranciers ontvangen de input tegelijk, onder een verwerkersovereenkomst.
2. Het tijdvenster ligt vast, bijvoorbeeld 10 werkdagen.
3. Leveranciers mogen prompts, glossaria, doelattributen en drempels instellen.
4. Leveranciers mogen output niet handmatig aanpassen.
5. Leveranciers geven model, configuratie, hostingregio en verbruikte credits op, inclusief hergeneraties.
6. Output komt terug in het sjabloon van de koper en wordt gescoord door reviewers van de koper, waar mogelijk zonder de naam van de leverancier te kennen.
7. Reviewers gebruiken voor elke leverancier dezelfde instructies en dezelfde standaard voor nabewerking.

Weigert een leverancier de test, of wil hij eigen voorbeelddata gebruiken, noteer dat dan zo in het scoreformulier. De demo-scorecard neemt de AI-resultaten mee in de totale beoordeling.

Scoreformulier voor AI-functies

Kopieer het formulier hieronder en vul per leverancier één kolom in. Houd het detail per attribuut bij in een tweede tabblad. Dit overzicht bevat de cijfers die het inkoopteam nodig heeft.

Kolommen in het tabblad per attribuut: attribuut, laag, waarden in bron, ingevulde waarden, correcte waarden, precision, recall.

Lees het formulier van onder naar boven. Kosten en reviewtijd per artikel laten zien wat de AI kost om te draaien. De taakregels laten zien wat ze voor dat geld oplevert. Een leverancier met iets lagere precision en de helft van de reviewtijd kan de betere keuze zijn. Bespreek zulke afwegingen in het inkoopteam voordat iemand de namen van leveranciers ziet.

Hoe gaat PIMvendors openbare leveranciersrondes organiseren?

PIMvendors is van plan openbare rondes te draaien op een gedeelde dataset, leveranciers op gelijke voorwaarden uit te nodigen en elke leverancier vóór publicatie recht op weerwoord te geven. De eerste ronde staat gepland en er zijn nog geen resultaten gepubliceerd.

Het geplande proces:

1. PIMvendors stelt een dataset van 200 producten samen volgens dezelfde lagen, als geanonimiseerd samengesteld geheel. Er komen geen klantnamen in voor.
2. Leveranciers in het betreffende segment worden op identieke voorwaarden uitgenodigd. Deelname is kosteloos en kent geen sponsorband.
3. Leveranciers die afzien van deelname, worden als zodanig vermeld.
4. Reviewers van PIMvendors scoren de resultaten volgens de regels hierboven.
5. Elke leverancier ontvangt vóór publicatie zijn resultaten en de toelichting en kan feitelijke fouten laten corrigeren.
6. Elke leverancier kan een schriftelijke reactie indienen, die naast zijn resultaten verschijnt.

De rondes volgen het neutraliteitsbeleid van de hub. Resultaten verschijnen per taak en per leverancier, zonder sterrenwaarderingen of totaalscores op een schaal van 10.