Datamigratie-tools

Transcriptum heeft voor haar dienstverlening een goed doordachte en uitgekiende werkwijze, waarin veel aandacht wordt besteed aan transparantie en documentatie van de oplossing. Wij gebruiken de eigen Transcriptum tools die ons daarbij maximaal ondersteunen. Mede dankzij het gebruik van deze tools kunnen wij onderscheidende dienstverlening bieden op het gebied van datamigratie en datamanagement.

DataTranscript

Met DataTranscript kan een complexe datamigratie op overzichtelijk en flexibel 
opgezet en uitgevoerd worden. De tool genereert alle benodigde documentatie aan de
hand waarvan opdrachtgevers de juiste beslissingen kunnen nemen, en waarmee 
een juiste verantwoording mogelijk is.
DataTranscript start met datadefinities van zowel bron- als doeldata. Op basis hiervan worden mappings opgesteld en worden conversiescripts gegenereerd. Ook de datakwaliteit wordt met DataTranscript bewaakt en waarnodig verbeterd door middel van dataverrijking.
DataTranscript kan worden ingezet voor alle database georiënteerde datamigraties. DataTranscript is toegepast voor migratie van en naar ondermeer SAP, MS Dynamics CRM, LifeTime, PView, PeopleSoft en andere systemen.
  • In hart van DataTranscript zit het deel waarin de datadefinities worden geregistreerd. Hiermee wordt de bij de datamigratie betrokken data beschreven conform het relationele model.
  • ​Een ander kernonderdeel is het deel van de mappingen en transformatieregels. Op basis van de mappingen kan de SQL-code voor de transformatieregels worden gegenereerd. Voor complexere regels kan handmatig SQL-code worden toegevoegd. DataTranscript heeft een connectie met de conversiedatabase en zorgt ervoor dat de SQL-code daar wordt uitgevoerd.
  • ​Ook is het mogelijk om vertaaltabellen te definiëren die worden gebruikt bij de mappingen. In een vertaaltabel wordt een domein uit de brondatabase gecombineerd met een domein uit de doeldatabase.
  • Voor de datakwaliteitscontroles is er een mogelijkheid om een set van queries op te bouwen die op dezelfde wijze als de hiervoor genoemde transformatieregels wordt uitgevoerd op de conversiedata. Een belangrijk deel van deze controles wordt automatisch gegenereerd op basis van de datadefinities. Alle andere datachecks kunnen hieraan worden toegevoegd.
  • ​DataTranscript exporteert de doeldata naar het te laden doelsysteem. Als deze data gecontroleerd is op datakwaliteit kunnen we de resultaten ervan gebruiken om de doeldata te filteren zodat alleen schone en consistente data wordt aangeleverd.
  • Om zicht te geven/houden op wat er allemaal gebeurt tijdens de migratie levert DataTranscript vele standaardrapportages in de vorm van dashboards, overzichten en detailverslagen.
  • ​Daarnaast zijn er nog andere faciliteiten zoals mogelijkheden voor dataprofiling en ontdubbeling van data en beschikt DataTranscript inmiddels over een uitgebreide en groeiende verzameling functies die gebruikt kunnen worden bij transformaties en datachecks.

Best Practice ervaringen

Bij onze opdrachten maken we gebruik van Best Practice ervaringen die bij eerdere opdrachten zijn ontstaan. U profiteert op deze manier van onze brede ervaring. Enkele daarvan lichten we hiertoe toe.

Beheer van vertabellen

Voor een klant die geen gebruik maakte van DataTranscript of andere gespecialiseerde datamigratietooling hebben we een Excel-model gebouwd waarmee de domeinen (codelijsten) en vertaaltabellen (translaties) beheerd kunnen worden. 

Zie de blogpost over dit onderwerp voor een verdere toelichting.

Extraheren MS CRM Metadata

Bij iedere datamigratie is het belangrijk om de metadata van zowel bron- als doelsysteem goed te kennen. Vaak is het doelsysteem nog in ontwikkeling als de voorbereidingen voor de datamigratie al moeten beginnen. De actualiteit van de metadata is dan een uitdaging. Voor Microsoft CRM projecten hebben we een tool gemaakt waarmee de metadata kunnen worden uitgelezen en hergebruikt binnen onze datamigratietool (DataTranscript, zie hierboven).

Zie de blogpost over dit onderwerp voor een verdere toelichting.

Afhankelijkheden

Bij een (proef)migratie moeten (veelal door verschillende partijen) vele handelingen worden verrichten die onderling sterk afhankelijk zijn. Om daarvoor een goed draaiboek op te stellen maken we eerst een afhankelijkhedenschema.

Dit helpt niet alleen om zelf het overzicht te verkrijgen en te behouden maar is ook een prima hulpmiddel in de communicatie met alle betrokkenen. Zie de blogpost over dit onderwerp voor een download van het Visio sjabloon dat we hiervoor hebben gemaakt en een verdere toelichting.