KETTLE (PENTAHO DATA INTEGRATION)

Data Preparation

Data komt uit een grote diversiteit aan bronnen, met vaak sterk wisselende kwaliteit.
Om op een degelijke manier resultaten uit data te halen is veel voorbereiden werk vereist.
Los van het doel van een project of de gewenste oplossing (data warehousing, big data analytics, machine learning) wordt er van uit gegaan dat 80% van de tijd gespendeerd wordt aan voorbereiding (data preparation). Data preparation is een breed begrip dat kan gaan van het verzamelen, linken, opschonen en wegschrijven van data. 

Visueel Ontwikkelen

Om dit voorbereidende werk op een efficiënte manier te doen zijn de juiste tools van groot belang. Kettle (ook gekend als Pentaho Data Integration) is een open source data integration platform met een geschiedenis van meer dan 15 jaar. 
Kettle laat toe om data stromen (of data pipelines) visueel te ontwikkelen, waarna de ontwikkelde code verder beheerd kan worden als software, inclusief version control, testing, CI/CD. 
Visuele ontwikkeling laat daarnaast toe om de focus te leggen op wat moet gebeuren, niet op hoe de ontwikkeling moet gebeuren. 

Kettle

Kettle biedt ondersteuning voor een groot aantal data formaten, communiceert met elk significant data platform, en biedt uitgebreide mogelijkheden met betrekking tot schaalbaarheid en uitbreidbaarheid: 

• toegang tot databases, file formaten (CSV, JSON, YAML, Office, ...), integratie met Kafka, AWS Kinesis, Google Pub/Sub, verschillende IoT protocollen, uitvoeren van data science en machine  learning algoritmes en meer 
• integratie en combinatie van data door middel van aggregaties, lookups, joins, ... 
• uitvoeren van data pipelines in de native Kettle engine, maar via de Apache Beam integratie ook op Apache Spark, Apache Flink etc
• schaalbaarheid: door een configureerbare engine is Kettle perfect inzetbaar van kleine tot gigantische hoeveelheden data, in batch, streaming en/of real-time 
• uitbreidbaarheid: een breed aanbod aan plugins laat toe om de standaard functionaliteit van Kettle verder uit te breiden  

know.bi is vanaf het prille begin nauw betrokken bij het Kettle project. We kennen het platform door en door en halen er maximale toegevoegde waarde uit. Ook met aanpassingen en uitbreidingen kunnen we je helpen. 

Om zeker te zijn dat we onze klanten optimaal kunnen blijven helpen zijn we diepgaand betrokken bij Project Hop, dat vertrokken is van de Kettle-broncode, maar een meer innovatieve weg wil inslaan. Lees meer over Project Hop en onze motivatie om betrokken te zijn in het project.