DAF Trucks MS Dynamics CRM
DAF Trucks sluit voor veel verkochte trucks een Repair & Maintenance contract af, om de bedrijfszekerheid van deze trucks verhogen. Deze contracten hebben doorgaans een looptijd van 5 tot 10 jaar, waarin de truck tot wel 1 miljoen kilometers kan
rijden. Voor de afwikkeling van deze contracten heeft DAF momenteel 2 bronsystemen: een AS/400 systeem voor de Engelse markt en een VB6/SQL Server applicatie voor het Europese continent. Beide systemen worden vervangen door een Microsoft Dynamics CRM (MS CRM 2011) implementatie.
Transcriptum zorgt bij deze implementatie voor de end-to-end datamigratie.
De huidige systemen hebben een geheel ander datamodel en ook met het datamodel van het nieuwe systeem zijn er aanzienlijke verschillen. Bij de datamigratie worden de gegevens uit de huidige systemen geconverteerd naar het datamodel van het nieuwe systeem. Dit vergt een uitgebreide set van transformatieregels. Het is van belang dat het geheel ondanks de omvang toch overzichtelijk, transparant en daarmee controleerbaar en flexibel blijft.
Die flexibiliteit is van groot belang omdat men bij datamigraties geconfronteerd wordt met veel tussentijdse wijzigingen als gevolg van de gaandeweg toegenomen kennis over de (gegevens in de) de bestaande systemen en het tegelijkertijd ontwikkelende nieuwe systeem.
Na afloop van de datamigratie moet precies verklaard en verantwoord kunnen worden hoe de gegevens in het doelsysteem zijn terechtgekomen: welke selecties en transformaties hebben plaatsgevonden en hoe sluiten de geladen gegevens in het nieuwe systeem aan op de gegevens in de bestaande systemen.
Om deze redenen zijn voor datamigraties speciale gereedschappen nodig. Standaard database- of ETL-tools zullen hierbij vroeg of laat tekortschieten. Veelal schieten flexibiliteit, documentatie- en rapportagemogelijkheden tekort. Transcriptum gebruikt voor datamigraties DataTranscript.
Omdat tijdens de voorbereiding van de datamigratie het nieuwe systeem nog in volop ontwikkeling is, zijn er ook wijzigingen in het datamodel van dat systeem. DataTranscript beschikt over een adapter om de meta-informatie van MS CRM uit te lezen. Hiermee kunnen we de wijzigingen in het CRM datamodel op de voet volgen en de transformatieregels daar op aanpassen.
De datamigratiestraat bestaat uit de bron- en doelsystemen met daar tussenin een migratiedatabase en de gebruikte gereedschappen. We hanteren daarbij het ETL/Q principe. ETL staat voor Extract, Transform, Load. Q staat voor de maatregelen voor het bewaken van de datakwaliteit.
rijden. Voor de afwikkeling van deze contracten heeft DAF momenteel 2 bronsystemen: een AS/400 systeem voor de Engelse markt en een VB6/SQL Server applicatie voor het Europese continent. Beide systemen worden vervangen door een Microsoft Dynamics CRM (MS CRM 2011) implementatie.
Transcriptum zorgt bij deze implementatie voor de end-to-end datamigratie.
De huidige systemen hebben een geheel ander datamodel en ook met het datamodel van het nieuwe systeem zijn er aanzienlijke verschillen. Bij de datamigratie worden de gegevens uit de huidige systemen geconverteerd naar het datamodel van het nieuwe systeem. Dit vergt een uitgebreide set van transformatieregels. Het is van belang dat het geheel ondanks de omvang toch overzichtelijk, transparant en daarmee controleerbaar en flexibel blijft.
Die flexibiliteit is van groot belang omdat men bij datamigraties geconfronteerd wordt met veel tussentijdse wijzigingen als gevolg van de gaandeweg toegenomen kennis over de (gegevens in de) de bestaande systemen en het tegelijkertijd ontwikkelende nieuwe systeem.
Na afloop van de datamigratie moet precies verklaard en verantwoord kunnen worden hoe de gegevens in het doelsysteem zijn terechtgekomen: welke selecties en transformaties hebben plaatsgevonden en hoe sluiten de geladen gegevens in het nieuwe systeem aan op de gegevens in de bestaande systemen.
Om deze redenen zijn voor datamigraties speciale gereedschappen nodig. Standaard database- of ETL-tools zullen hierbij vroeg of laat tekortschieten. Veelal schieten flexibiliteit, documentatie- en rapportagemogelijkheden tekort. Transcriptum gebruikt voor datamigraties DataTranscript.
Omdat tijdens de voorbereiding van de datamigratie het nieuwe systeem nog in volop ontwikkeling is, zijn er ook wijzigingen in het datamodel van dat systeem. DataTranscript beschikt over een adapter om de meta-informatie van MS CRM uit te lezen. Hiermee kunnen we de wijzigingen in het CRM datamodel op de voet volgen en de transformatieregels daar op aanpassen.
De datamigratiestraat bestaat uit de bron- en doelsystemen met daar tussenin een migratiedatabase en de gebruikte gereedschappen. We hanteren daarbij het ETL/Q principe. ETL staat voor Extract, Transform, Load. Q staat voor de maatregelen voor het bewaken van de datakwaliteit.
Extract
Op SQL Server niveau is een Linked Server connectie gelegd naar de databases van de bronsystemen. In verband met de trage performance van de Linked Server connectie met de AS/400 worden de brongegevens gekopieerd naar tijdelijke tabellen in de
migratiedatabase.
Transform
Met DataTranscript definiëren we de transformatieregels die moeten worden uitgevoerd, met daarbij de kolommappings en domainmappings (de xref-translaties). DataTranscript genereert op basis daarvan de SQL-scripts. Omdat we bij het uitvoeren van deze transformaties moeten weten welke gegevens reeds in het doelsysteem aanwezig zijn, gebruiken we een Linked Server connectie met de doeldatabase. Hiermee worden met name de GUID’s opgezocht van de aanwezige Master Data en Reference Data records.
Load
De getransformeerde gegevens worden middels Scribe in MS CRM ingeladen. Scribe gebruikt daarbij de webservices van MS CRM.
Quality
Tijdens het gehele datamigratieproces wordt door middel van DataTranscript de datakwaliteit bewaakt. Daarbij wordt ervoor gezorgd dat alleen gegevens die aan de kwaliteitseisen voldoen worden doorgegeven aan het laadproces, zodat ook in de testfase het doelsysteem alleen met schone en consistente gegevens wordt gevoed. De rapportage over de niet-geleverde gegevens (uitval) wordt gebruikt ter verbetering van het datamigratieproces of voor het bijstellen van de acceptatiecriteria indien verdere verbeteringen van het datamigratieproces niet meer lonen. Ook worden record counts en hash totals bijgehouden om te checken of de datamigratie compleet is geweest.
Op SQL Server niveau is een Linked Server connectie gelegd naar de databases van de bronsystemen. In verband met de trage performance van de Linked Server connectie met de AS/400 worden de brongegevens gekopieerd naar tijdelijke tabellen in de
migratiedatabase.
Transform
Met DataTranscript definiëren we de transformatieregels die moeten worden uitgevoerd, met daarbij de kolommappings en domainmappings (de xref-translaties). DataTranscript genereert op basis daarvan de SQL-scripts. Omdat we bij het uitvoeren van deze transformaties moeten weten welke gegevens reeds in het doelsysteem aanwezig zijn, gebruiken we een Linked Server connectie met de doeldatabase. Hiermee worden met name de GUID’s opgezocht van de aanwezige Master Data en Reference Data records.
Load
De getransformeerde gegevens worden middels Scribe in MS CRM ingeladen. Scribe gebruikt daarbij de webservices van MS CRM.
Quality
Tijdens het gehele datamigratieproces wordt door middel van DataTranscript de datakwaliteit bewaakt. Daarbij wordt ervoor gezorgd dat alleen gegevens die aan de kwaliteitseisen voldoen worden doorgegeven aan het laadproces, zodat ook in de testfase het doelsysteem alleen met schone en consistente gegevens wordt gevoed. De rapportage over de niet-geleverde gegevens (uitval) wordt gebruikt ter verbetering van het datamigratieproces of voor het bijstellen van de acceptatiecriteria indien verdere verbeteringen van het datamigratieproces niet meer lonen. Ook worden record counts en hash totals bijgehouden om te checken of de datamigratie compleet is geweest.