PIM datamigratie: profileren, opschonen, mappen en cutover

Wat houdt een migratie van productdata in?

Een migratie van productdata brengt productdata in vijf stappen van de huidige bronnen naar het datamodel van het nieuwe PIM. Die stappen zijn profileren, opschonen, mappen, repeteren en cutover. Elke stap levert een resultaat op dat de business aftekent.

In de meeste implementaties is migratie het kritieke pad, zoals de pijler over PIM implementatie uitlegt. Testen, trainen en het omzetten van kanalen hebben allemaal echte data in het nieuwe model nodig. Voorbeelddata verbergt de problemen die bij het volledige volume opduiken.

De data komt zelden uit één systeem. Een gangbare migratie haalt data uit:

• Het ERP, voor identifiers, logistieke gegevens en prijzen.
• Spreadsheets van productmanagers en marketing.
• Een oud PIM of de database van een webshop, voor omschrijvingen en attributen.
• Gedeelde schijven en een DAM, voor afbeeldingen en documenten.
• Bestanden van leveranciers, voor technische gegevens.

Elke bron heeft eigen codes, eenheden, talen en gaten. De migratie brengt ze samen in één model met één set definities. Daarom is migratie ook een test van het datamodel: een model dat de echte data niet kan dragen, laat hier zijn gaten zien.

Het werk is verdeeld tussen partner en business. De partner bouwt en draait de migratietooling. De business bepaalt wat klopt, wat blijft en wat verdwijnt. Leg die verdeling bij de mobilisatie schriftelijk vast.

Hoe profileer je brondata?

Profileer elk bronveld vóór het mappen, zodat de planning rust op gemeten datakwaliteit. Profileren vervangt aannames over data door cijfers per veld.

Identifiers vragen extra zorg. Google Merchant Center eist dat GTIN's de GS1-controlecijfertoets doorstaan, met maximaal 14 cijfers per waarde. Spreadsheets slaan identifiers vaak op als getal en strippen de voorloopnullen. Precies daarom adviseert de feedspecificatie van OpenAI om identifiers als tekst te bewaren.

Eenheden vormen de tweede valkuil. Volgens de specificatie van OpenAI worden eenheden niet afgeleid. Een bronveld met zowel millimeters als centimeters vraagt een conversieregel per record, en profileren moet dat eerst opsporen. Denk aan een groothandel in Utrecht waar inkopers maten in verschillende eenheden invoeren (illustratief voorbeeld).

Deel het profileringsrapport met de business-eigenaar. Het bepaalt de omvang van het opschoonwerk en verschuift vaak de planning.

Wat schoon je op vóór de migratie en wat erna?

Schoon in de bron op wat kan, zet de structuur om tijdens de migratie en verrijk na livegang in het PIM. Zo landt elke correctie waar die het minst kost.

Besluit vroeg over bewaren. Uitgelopen producten migreren alleen mee als een proces ze nodig heeft, zoals reserveonderdelen, service of een wettelijke bewaarplicht. Elk extra product kost inspanning in alle stappen.

Weersta de neiging om alles vóór livegang op te schonen. Een plan dat wacht op perfecte data gaat nooit live. Stel per productfamilie en kanaal een minimale kwaliteitsdrempel vast, migreer wat die drempel haalt en stuur de rest naar verrijkingsworkflows. De pagina over kwaliteit van productdata legt uit hoe je die drempels bepaalt.

Hoe map je brondata naar het nieuwe datamodel?

Koppel elk bronveld aan een doelattribuut, met een schriftelijke conversieregel en een eigenaar. De mappingspecificatie is de afspraak tussen business en partner over wat de migratie precies doet.

Een mappingregel bevat:

1. Bronsysteem en veld.
2. Doelattribuut in het nieuwe datamodel.
3. Conversieregel: omrekening van eenheden, opzoeken in een codelijst, splitsen of samenvoegen.
4. Standaardwaarde of regel voor ontbrekende data.
5. Eigenaar die de regel goedkeurt.
6. Testgeval dat aantoont dat de regel werkt.

Sommige onderdelen vragen meer dan veldmapping. Classificatie verhuist soms naar een nieuwe versie, zoals ETIM 10.0 uit december 2024, die klassen en kenmerken wijzigt. Productrelaties, zoals accessoires en reserveonderdelen, vragen dat beide kanten gemigreerd zijn voordat de koppeling ontstaat. Assets vragen bestandsoverdracht en controle van de koppelingen. Vertalingen vragen consistent gemapte locale-codes, zoals nl-NL en nl-BE voor tweetalige data in België (illustratief voorbeeld).

Historie en audittrails zijn een apart besluit. De meeste PIM's kunnen de wijzigingshistorie van een ander systeem niet als eigen historie importeren. Kies of je die archiveert, als referentiedata importeert of een bewaartermijn lang in het oude systeem laat staan.

Houd de mappingspecificatie onder wijzigingsbeheer. Leg elke wijziging na de eerste repetitie vast en test die opnieuw. De pagina over het ontwerp van het datamodel beschrijft het doelmodel waar deze mapping van afhangt.

Hoeveel migratierepetities heb je nodig?

Plan voor een middelgrote implementatie minstens drie volledige repetities, elk met een getekend afstemmingsrapport. Repetities zijn de belangrijkste bescherming tegen verrassingen bij de cutover.

Bij de afstemming vergelijk je bron en doel op afgesproken maatstaven:

• Aantallen records per entiteit: producten, varianten, assets, relaties.
• Volledigheid van attributen per productfamilie, gemeten tegen de nulmeting uit de profilering.
• Steekproeven van waarden tegen bronrecords, gekozen door data stewards.
• Aantallen koppelingen naar assets en relaties.
• Looptijd van de run, die het cutovervenster bepaalt.

Start de eerste repetitie al tijdens de bouw. Vroege repetities leggen gaten in het datamodel bloot zolang herstel nog weinig kost. Een plan dat de eerste volledige run pas na afronding van de bouw inplant, laat geen tijd om bij te sturen. De gids over doorlooptijd laat zien hoe repetities in de totale planning passen.

Hoe voer je de cutover uit?

Voer de cutover uit als een geoefende reeks: bevriezen, laatste laadronde, controle en een go/no-go-besluit. Elke handeling in de cutover heb je al eerder geoefend.

1. Kondig de databevriezing in de bronsystemen aan en start die, of leg wijzigingen vast als delta.
2. Draai de laatste migratie in de geoefende volgorde.
3. Laad de delta van wijzigingen tijdens de bevriezing.
4. Stem af op dezelfde maatstaven als bij repetitie 3.
5. Zet integraties en kanaalexports om naar het PIM.
6. Neem het go/no-go-besluit op basis van afgesproken criteria.
7. Houd het oude systeem een afgesproken periode alleen-lezen beschikbaar.

Schrijf de go/no-go-criteria op vóór de week van de cutover. Gangbare criteria zijn: afstemmingsmaatstaven gehaald, kritieke fouten opgelost, kanaalexports gevalideerd en het hypercareteam paraat.

Een terugvalplan hoort in hetzelfde document. Valt het besluit negatief uit, dan moeten kanalen doordraaien op de oude bronnen. Leg vast hoe lang het oude systeem beschikbaar blijft en wie over terugdraaien beslist.

Na livegang behandelt de gids over de eerste 90 dagen de hypercare en het opruimen van resterende migratieproblemen.