Project Hop werd aangekondigd op KCM19 in november 2019. De eerste preview release is beschikbaar sinds 10 april. We hebben er al uitgebreid over gecommuniceerd op onze social media accounts, maar wat is Project Hop nu juist? In deze post overlopen we wat Project Hop is, waarom we met het project gestart zijn, en waarom wij als know.bi onze schouders mee onder Project Hop zetten.
Zoals de slagzin van het project zegt, "Project Hop intends to explore the future of data integration", we willen de toekomst van data integration verkennen. Dat klinkt ambitieus, maar we nemen dat behoorlijk letterlijk. In het voorbije decennium hebben we enorme wijzigingen gezien in het data processing landschap, de snelle opkomst en al even snelle aftocht met stille trom van het Hadoop ecosysteem, om er maar eentje te noemen. Al deze wijzigigingen moeten opgevangen en geïntegreerd worden in je data engineering en data processing systemen.
Los van deze puur technische uitdagingen is de levenscyclus van dataverwerkingsprocessen meer dan ooit die van een software project geworden. Robuuste en betrouwbare dataverwerking vraagt testen, een snel en flexibel proces voor het uitrollen van nieuwe versies, en een strikte scheiding tussen data en metadata.
Project Hop wil je Zwitsers zakmes voor data verwerking worden. Onze belangrijkste doelen zijn:
Als gebruikers en system integrators met Kettle (Pentaho Data Integration of PDI) van het eerste uur, is er veel dat we met Kettle hebben kunnen doen om de eerder genoemde doelen te realiseren. Kettle heeft echter een geschiedenis van bijna twee decennia en een grote groep gebruikers en klanten die stabiliteit en compatibiliteit over versies heen verwachten.
Om een platform te bouwen dat klaar is voor de volgende twee decennia wilden we vooruit, niet achteruit kijken. Na lange gesprekken met Matt Casters, de initiële ontwikkelaar en voormalige lead architect van het Kettle platform, besloten we een andere weg in te slaan en afscheid te nemen van Kettle.
We zijn gestart van Kettle (release 8.2.0.7) als basis, maar hebben een aantal drastische wijzigingen doorgevoerd:
Tenslotte, maar daarom zeker niet minder belangrijk, geloven we sterk dat open source software beschikbaar moet zijn in het publieke domein. We moeten nog een aantal stappen zetten, maar we zijn van plan binnenkort het "incubation" proces bij de Apache Software Foundation (ASF) te starten en liever vroeger dan later de Hop code aan de ASF te doneren.
Met Apache Hop zijn we ervan overtuigd dat een groot aantal organisaties baat kan hebben bij de beschikbaarheid van een eenvoudig en krachig metadata-gedreven platform.
Hop zal nooit "af" zijn. We komen dichter bij een eerste release, maar er zal altijd werk aan de winkel blijven.
Een aantal volgende stappen op onze roadmap zijn
We hebben nog op de langere termijn nog erg veel plannen waar we zeker over zullen communiceren wanneer de tijd daar rijp voor is.
We nodigen je in elk geval warm uit om samen met ons van Project Hop een succes te maken, en we hopen dat je er plezier aan beleeft om het project te zien groeien, zowel qua functionaliteit als qua community.
Hop is een nieuw platform, met een eigen roadmap en een eigen plan voor de toekomst. Bij de drastische keuzes die we willen maken qua architectuur hoort onvermijdelijk dat we moeten breken met compatibiliteit met Kettle.
Dat betekent niet dat we breken met de bestaande Kettle community en onze gebruikers in de kou zullen laten staan. Binnenkort starten we met de ontwikkeling van een migratie-tool die je zal toelaten je bestaande Kettle/PDI code in Hop te importeren.
Know.bi heeft sinds 2012 op tientallen internationale Pentaho projecten gewerkt. Kettle/PDI komt daarbij steeds terug als de rode draad, en maakt in zo goed als alle gevallen het grootste deel van het te verrichten werk uit. Kettle is voor ons een onmisbaar instrument, maar na bijna 20 jaar ontwikkeling werd het tijd voor een grondige opknapbeurt. Project Hop is veel meer dan een facelift voor Kettle, we willen op de solide funderingen van Kettle een nieuw platform voor data integration bouwen dat helemaal klaar is voor de toekomst.
Hoewel Hans en Bart actief meewerken aan de ontwikkeling van Project Hop blijft know.bi in de eerste plaats een system integrator en team van consultants. We zijn ervan overtuigd dat Project Hop voor ons een hefboom is om onze klanten sneller en beter te helpen, en dat is uiteindelijk waar het voor ons als dienstverlener om draait.
Onze bestaande Pentaho en Kettle services blijven vanzelfsprekend nog een hele tijd doorlopen. Wanneer de tijd daar rijp voor is beschouwen we een volledige overstap naar Hop echter als een logische en natuurlijke evolutie.
We hopen dat jullie ons enthousiasme rond Project Hop delen, en kijken er naar uit om samen succesvolle projecten te realiseren!