AI-attribuutextractie: wat werkt en hoe je het test

Wat is AI-attribuutextractie en waar werkt het?

AI-attribuutextractie maakt van ongestructureerde productbronnen conceptwaarden voor attributen. Een model leest een datasheet, handleiding, leveranciersspreadsheet of verpakkingsfoto en stelt voor elk attribuut in je datamodel een waarde voor. Een productdata-steward keurt elk concept goed, corrigeert het of wijst het af.

PIMvendors geeft attribuutextractie het oordeel productierijp met review, het hoogste niveau in de volwassenheidstabel voor AI in PIM. De reden is controleerbaarheid. De juiste waarde staat in een document dat de reviewer naast het concept kan openen, dus een controle kost seconden.

Attribuutextractie levert het meest op in drie situaties:

• Groothandels die duizenden leveranciersproducten onboarden met pdf-datasheets en zonder gestructureerde feed.
• Fabrikanten met een oudere catalogus waarin de technische data in handleidingen en tekeningen zit.
• Merken die uitbreiden naar marketplaces die attributen vragen die de interne catalogus nooit heeft vastgelegd.

De kwaliteit van extractie hangt net zo sterk af van het datamodel als van het AI-model. Een attribuut met een heldere definitie, een vaste eenheid en een gesloten waardelijst is makkelijk uit te lezen en makkelijk te controleren. Een attribuut "kenmerken" met vrije tekst in vijf stijlen verslaat elk model. Daarom komt in PIMvendors-selecties het werk aan het datamodel eerst. AI vult een gedefinieerd model sneller.

Uit welke brondocumenten kan AI attributen halen?

AI leest betrouwbaar uit digitale tekstdocumenten en minder betrouwbaar uit scans, afbeeldingen en complexe tabellen. De mix van bronnen bij je leveranciers voorspelt je resultaat dus beter dan welke benchmark van een leverancier ook.

Deze beoordelingen zijn een praktijkoordeel van PIMvendors over meerdere selecties heen. De gemeten getallen komen uit je eigen test.

Twee fouten verdienen extra aandacht. Verwarring tussen varianten is de meest voorkomende ernstige fout: een datasheet beschrijft zes maten en het model leest de verkeerde regel. De tweede is het decimaalteken. Europese bronnen schrijven 1,5 waar andere 1.5 schrijven, en een model kan van 1,500 anderhalf maken. Neem beide gevallen bewust op in je testset.

Hoe nauwkeurig is AI-attribuutextractie?

De nauwkeurigheid verschilt per attribuut, dus meet je haar per attribuut. Eén totaalcijfer verbergt juist de attributen die het zwaarst wegen. Een leverancier kan een hoog gemiddelde melden en tegelijk falen op de vijf attributen die je kanalen verplicht stellen.

Gebruik per attribuut twee meetwaarden:

• Precision: van de waarden die het model invulde, het aandeel dat klopt.
• Recall: van de waarden die in de bron staan, het aandeel dat het model vond.

Hoge precision met lage recall wijst op een voorzichtig model dat gaten laat. Hoge recall met lage precision wijst op een model dat alles invult en veel review vraagt. Voor productdata weegt precision meestal zwaarder, want een foute waarde bereikt de klant terwijl een leeg veld een dataverzoek oplevert.

Controles op identificatiecodes zijn te automatiseren. De productfeedspecificatie van OpenAI eist bijvoorbeeld een GTIN van precies 8, 12, 13 of 14 cijfers met een geldig controlecijfer. Een regel in het PIM kan elke uitgelezen GTIN die daar niet aan voldoet weigeren voordat een mens hem ziet.

Hoe richt je de review van AI-waarden in?

Laat elke uitgelezen waarde door een conceptstatus, een betrouwbaarheidsdrempel en een steekproefregel gaan. Met die opzet blijft de reviewinspanning in verhouding tot het risico.

1. Het model schrijft naar een veld voor voorgestelde waarden, nooit naar het goedgekeurde attribuut.
2. Waarden boven de betrouwbaarheidsdrempel gaan naar steekproefreview. Waarden eronder gaan naar volledige review.
3. Reviewers controleren per batch een vaste steekproef en stoppen de batch zodra de fouten boven de afgesproken tolerantie uitkomen.
4. Bij elke goedgekeurde waarde worden brondocument, paginaverwijzing, modelversie en goedkeurder opgeslagen.
5. Attribuutgroepen met het label regelgeving of veiligheid zijn uitgesloten van extractie.

Betrouwbaarheidsscores moeten gekalibreerd zijn. Een label van 90 procent betrouwbaarheid heeft pas waarde als ongeveer negen op de tien van die waarden op jouw data kloppen. Controleer dat in de test.

Leveranciersdocumenten brengen ook een beveiligingsrisico mee. OWASP noemt prompt injection als risico LLM01 voor LLM-toepassingen. Een pdf van een leverancier kan verborgen tekst bevatten die een model opdraagt misleidende waarden te schrijven. Vraag leveranciers hoe de extractie documentinhoud scheidt van systeeminstructies. Vraag ook of extractie andere acties kan starten dan het schrijven van een conceptwaarde.

Wat vraag je PIM-leveranciers over attribuutextractie?

Vraag om bewijs op je eigen documenten en om controles die je zelf kunt instellen. De punten hieronder worden eisen in de set eisen voor AI-functies.

• Ondersteunde bronformaten: digitale pdf, gescande pdf, afbeeldingen, spreadsheets, Word-bestanden.
• Omgang met tabellen met meerdere varianten, met waarden bij de juiste SKU.
• Gericht uitlezen van een vaste attributenlijst per productfamilie, op basis van jouw datamodel.
• Herkomst per waarde: bronbestand, pagina, modelversie, tijdstempel.
• Betrouwbaarheidsdrempels in te stellen per attribuut of attribuutgroep.
• Bulkgoedkeuring met de bron in beeld naast het concept.
• Het gebruikte model, de verwerkingsregio en of prompts of output gedeelde modellen trainen.
• De prijseenheid: per document, per pagina, per attribuut of per credit.

Test daarna. Het protocol van het AI Claims Lab werkt met 200 producten van de koper en een achtergehouden antwoordsleutel. Extractie is een van de vier taken en wordt per attribuut gescoord. Draai in dezelfde ronde hetzelfde protocol voor automatische classificatie met AI, omdat de classificatie bepaalt welke attributen de extractie moet zoeken.

Waar houdt AI-attribuutextractie op?

AI-attribuutextractie stopt bij waarden die de bron niet noemt en bij waarden met juridisch gewicht. Twee grenzen houden extractie veilig.

De eerste grens is afleiden. Vraag een model "geschikt voor buitengebruik" in te vullen uit een datasheet die daar niets over zegt, en het geeft vaak toch antwoord. Dat antwoord oogt redelijk en heeft geen onderbouwing. PIMvendors hanteert de regel geen bron, geen waarde: zwijgt de bron, dan blijft het veld leeg en krijgt de leverancier een dataverzoek.

De tweede grens is compliance. Verpakkingssamenstelling voor de PPWR, gevarenaanduidingen, veiligheidswaarschuwingen onder de GPSR en velden van het Digitaal Productpaspoort moeten herleidbaar zijn naar een verklaring of testrapport. Extractie mag de juiste pagina in een leveranciersdocument opzoeken. Een mens voert de waarde in en keurt haar goed. De pijler over compliance legt uit welke velden onder de regels vallen.

Controles tussen attributen vallen ook buiten extractie. Een model dat het voltage uitleest, controleert niet of het steker-type past bij de doelmarkt. Validatieregels in het PIM doen dat na de extractie. Extractie vult het datamodel, en de regels van het datamodel bepalen wat geldig is.