Nieuw: Incore Composable Data Platform Dataplatform op basis van Europese en Opensource technologie

Zoals in onze eerdere artikelen beschreven is er binnen organisaties veel interesse om minder afhankelijk te worden van (m.n.) Amerikaanse big tech bedrijven. Dit vanwege de verslechterde geopolitieke verhoudingen door onvoorspelbare nieuwe regelgeving en een grotere focus op de eigen economie in Amerika. De afhankelijkheid van deze Amerikaanse technologiebedrijven betekent een groot risico op verminderde beschikbaarheid van cruciale infrastructuur en data indien een (handels)conflict escaleert.

Impact

Met name voor dataplatformen is het cruciaal om deze geopolitieke risico’s te minimaliseren. In de huidige tijd vormt een dergelijk dataplatform niet alleen de basis voor essentiële inzichten en analytische rapportages binnen organisaties, maar ook voor (kritische) bedrijfsprocessen die meer en meer data gedreven worden. De impact van verstoringen in dergelijke dataplatformen kan voor organisaties dus zeer groot zijn.

Nieuw dataplatform

Incore Solutions heeft een compleet operationeel dataplatform ontwikkeld op basis van Europese en Opensource technologie. Gebaseerd op verschillende technische componenten voor het cloud platform, data ingestion vanuit diverse bronnen en staging tot aan het reporting model, inclusief een analyse/reporting tool en data governance (meta data) tooling. En bovendien: geheel meta data gedreven, waardoor het eenvoudig (met minimaal coderen) is om bronnen aan te sluiten en het dataplatform operationeel te maken.

De gekozen technische componenten kunnen bovendien (naar wens) relatief eenvoudig worden ‘vervangen’ door andere tools. Ook daarover schreven we al eens eerder een artikel. Nu is het zover. We bieden hiermee een robuust en schaalbaar dataplatform, gebaseerd op Europese en Opensource technologie waarbij de data niet alleen binnen Europa blijft, maar waar ook de Europese wet- en regelgeving op van toepassing is.

Incore Composable Data Platform

Het Incore dataplatform is gebouwd met technologie die afkomstig is uit Europa en/of gebaseerd is op open standaarden. Dit betekent dat het platform veilig, transparant en toekomstbestendig is en voldoet aan de Europese privacywetgeving (AVG/GDPR).

Voor de opslag en verwerking van data maakt het platform gebruik van een Europese cloudomgeving (CloudFerro), die speciaal is ingericht om data veilig en gecontroleerd te beheren. Het verwerken van data gebeurt in verschillende stappen. Hieronder belichten we ze stuk voor stuk en benoemen we (tussen haakjes) de gebruikte tools:

• Data binnenhalen: gegevens uit verschillende bronnen worden automatisch ingelezen (NiFi);
• Opschonen en structureren: ruwe data wordt omgezet naar een gestandaardiseerd formaat, zodat het geschikt is voor analyse (Parquet, dbt Core);
• Omzetten naar inzichten: gestructureerde data wordt verwerkt tot overzichtelijke modellen en rapportages die eindgebruikers kunnen gebruiken (dbt Core, PostgreSQL, Metabase).

Wat dit platform bijzonder maakt?

• Geheel gebaseerd op Europese en Opensource technologie;
• Nieuwe databronnen kunnen eenvoudig worden toegevoegd, zonder dat er veel technische aanpassingen nodig zijn (metadata gedreven);
• Gebruikers kunnen zelf rapportages maken via een gebruiksvriendelijke tool (Metabase);
• Er is een systeem ingebouwd dat helpt om het overzicht te houden over waar data vandaan komt en hoe het gebruikt wordt (data management; Open-Metadata.org).

Kortom: het Incore dataplatform is een robuuste en flexibele oplossing die organisaties helpt om data veilig en efficiënt om te zetten in waardevolle inzichten, zonder dat daar diepgaande technische kennis voor nodig is.

Beschikbaarheid

Het dataplatform zoals hierboven beschreven is beschikbaar en gereed voor implementatie. Uiteraard zullen bij de implementatie specifieke eisen en wensen van jouw organisatie worden aan- of toegepast, waarmee een zeer effectieve en snelle implementatie van het dataplatform mogelijk wordt gemaakt.