Transcriptum
  • Home
  • Dienstverlening
    • Datakwaliteit
    • Datamigratie
    • Master Data Management
    • Documenten
    • Privacy en Security
    • Data-architectuur
    • Data Governance
  • Wie zijn wij?
  • Blog
  • Contact

Beheer van domeinen en vertaaltabellen

13/8/2021

0 Comments

 
Door Chiel Harmsen
Foto
In een datamigratie spelen vertaaltabellen een belangrijke rol. Daarom is het belangrijk om deze binnen het project goed te organiseren en te documenteren. Dat draagt enorm bij aan de transparantie en controleerbaarheid van de datamigratie. Vertaaltabellen moeten worden afgestemd met de key users, de consultants die de inrichting van het nieuwe systeem verzorgen en met de mensen die de mappingen en transformatieregels opstellen. Iedereen die wil weten hoe de datamigratie precies in zijn werk gaat zal de vertaaltabellen moeten kunnen raadplegen. Denk bijvoorbeeld aan auditors maar ook aan diverse partijen waarmee het nieuwe systeem informatie uitwisselt. Wijzigingen in coderingssystematiek kan immers ook voor die partijen gevolgen hebben. Goed beheer van de vertaaltabellen maakt die communicatie een stuk makkelijker. 

Hieronder staan we stil bij de essentie van vertaaltabellen en presenteren we een metamodel dat als basis kan dienen voor de opzet van een goede documentatie van de vertaaltabellen, te realiseren met gespecialiseerde datamigratietooling of gewoon met Excel.

Naast deze best practice heeft dit artikel als boodschap dat een dataprofessional de algemeen geldende regels voor datamodelering ook moet toepassen op zijn eigen werk, dat wil zeggen op de metadata van de projecten waar hij/zij aan werkt.

Essentie van vertaaltabellen

​Bij een datamigratie leg je met de kolommapping de verbanden tussen de velden van bron- en doelsysteem. Zo heb je bijvoorbeeld aangegeven dat de kolom Jobcode in het doelsysteem gevuld moet worden met de Functiecodes uit het bronsysteem. Steeds als er in het doelsysteem gebruik gemaakt wordt van een ander coderingstelsel dan in het bronsysteem moet er een omcodering plaatsvinden. Dat wordt geregeld met  vertaaltabellen, ook wel translatietabel of was-wordt-lijst genoemd.

Zo'n vertaaltabel is eigenlijk de combinatie van een domein (lijst van waarden) uit de bron met een domein uit het doelsysteem. We geven een voorbeeld uit de migratie van een HR-systeem: het bron- en doelsysteem hebben een eigen systematiek voor de codes van de functies van medewerkers. Bij de inrichting van het doelsysteem worden ook de nieuwe functiecodes en omschrijvingen bepaald. Dit is geen migratie-activiteit maar een inrichtingsactiviteit. 

Deze doeldomeinen zijn input voor de datamigratie. Op basis hiervan maken we vertaaltabellen om de coderingen van de brondomeinen te vertalen naar de coderingen van de doeldomeinen. Voor het hierboven genoemde HR-voorbeeld maken we een vertaaltabel om de coderingen uit het domein Functie te vertalen naar die van Jobcode.
Foto

Metamodel voor vertaaltabellen

​Dit is het (plaatje van het) metamodel voor de registratie van al die vertalingen:
Foto
​Een Brondomein bestaat uit een of meer coderingen. Hetzelfde geldt voor Doeldomein.
Een Vertaaltabel koppelt een Brondomein aan een Doeldomein. Zo'n Vertaaltabel bestaat uit een of meerdere regels. In elke regel wordt een Brondomeincode gekoppeld aan een Doeldomeincode.

Je zou het model verder kunnen optimaliseren en het onderscheid tussen bron- en doeldomein weglaten.
Foto
​Binnen DataTranscript (de datamigratietooling van Transcriptum) wordt deze laatste optimalisatie toegepast. 

Omdat het eerste metamodel net iets overzichtelijker is, hebben we dat gebruikt voor een Excel-model dat we voor een klant hebben gemaakt. Daarmee kan men de domeinen en vertaaltabellen documenteren en uitwisselen met de partij die de dataconversie uitvoert. Naast een introductietab met uitleg en versiegeschiedenis bestaat dit Excel-model uit 6 tabbladen - voor ieder van de entiteiten een tabblad. Deze tabbladen zijn onderling gerelateerd, zodat referentiële integriteitscontroles ondersteund worden. 
De inhoud van dit Excel-model kan door de conversiepartij makkelijk opgenomen worden in de conversiestraat. Iedere keer als een nieuwe set van brondata wordt geleverd, wordt ook een nieuwe versie van deze registratie geleverd.
Uiteraard gebruikt de conversiepartij de gegevens uit de tab Vertaaltabelregels voor de vertaling van de coderingen. Daarnaast worden de doeldomeincodes ook gebruikt om na de transformatieslag te checken of er onverhoopt geen ongeldige coderingen zijn terecht gekomen in de geconverteerde data. 
Deze tool biedt  nog meer praktische voordelen. Zo kunnen we semi-automatisch checken of er wijzigen zijn gekomen in de setup van het doelsysteem die impact hebben op de vertaaltabellen, bijvoorbeeld de introductie van nieuwe coderingen. Ook kunnen alle partijen die gegevens uitwisselen met het doelsysteem geïnformeerd worden over de wijzigingen in de coderingssystematiek. Zij kunnen die vertaaltabellen hergebruiken voor conversies die mogelijk in hun systeem moeten worden uitgevoerd.

Modeleringsregels gelden ook voor metadata

​Iedereen die met veel data werkt doet er goed aan deze goed te organiseren en te modeleren. Als datamigreerder hebben we uiteraard te maken met de te migreren data. Maar daarnaast werken we met metadata, de gegevens over de te migreren data. Het loont de moeite om er goed over na te denken wat de onderliggende structuur van de metadata is. Als dataprofessional passen we regels toe bij het inrichten van systemen voor anderen. Denk bijvoorbeeld aan het normaliseren en de regels voor data-integriteit en -consistentie. Als het om onze eigen dataverzamelingen gaat lijken we die regels vaak te vergeten. Veel datamigreerders werken voor hun specificaties met spreadsheets die vol zitten met repeating groups en redundantie zonder adequate controles. Dat maakt de verzamelde metadata niet alleen minder betrouwbaar maar het werk is daardoor ook omslachtig en tijdrovend. De kwaliteit en de efficiëntie van de datamigratie staan daardoor onder druk. 
0 Comments

Your comment will be posted after it is approved.


Leave a Reply.

    Alle blogposts

    Categorieën:

    All
    Big Data
    Business Case
    Content Management
    Datakwaliteit
    Datamanagement
    Data Mapping
    Datamatching
    Datamigratie
    Functional Mapping
    Metadata
    Microsoft Crm
    Ongestructureerde Data
    Privacy
    Projectmanagement

    Archief

    February 2022
    August 2021
    June 2021
    October 2017
    September 2017
    August 2017
    June 2017
    January 2017
    June 2016
    March 2016
    December 2015
    December 2013
    July 2013
    May 2013

    RSS Feed

Home
​​Wie zijn wij?
Blog
Contact
Dienstverlening
​- Datakwaliteit
- Datamigratie
​- Master Data Management
​- Documenten
- Privacy & Security
- Data-architectuur
​- Data Governance
Privacystatement
​Disclaimer
© Transcriptum B.V.