Qu’est-ce que le DataOps ?

Le DataOps est une méthodologie collaborative de gestion des données dont l’objectif est d’améliorer la communication, l’intégration et l’automatisation des flux de données entre les gestionnaires et consommateurs de données au sein d’une organisation.

Le DataOps partage les mêmes principes et les applique aux traitements de données pour faciliter et accélérer la livraison d’analyses de données. En pratique, il s’appuie sur la combinaison d’équipes, d’outils et de processus uniques pour apporter agilité, orchestration et contrôle tout au long des projets. Un concept qui peut être révolutionnaire s’il est correctement adopté au sein des organisation.

Dans le DataOps, plusieurs étapes se succèdent pour automatiser la conception, le déploiement et la gestion des flux de livraison de données. Cela doit se faire avec les niveaux appropriés de gouvernance et de métadonnées afin d’améliorer l’utilisation de la donnée et la valeur qu’elle génère dans un environnement dynamique.

Au cœur de ce processus se trouve un pipeline de données, qui désigne la succession d’étapes par lesquelles les données passent au cours d’un projet data. Il débute par l’extraction de données à partir de sources variées, jusqu’à leur exposition ou leur visualisation en vue d’une utilisation métier.  

Le DataOps orchestre ce pipeline et l’automatise pour garantir sa bonne mise à l’échelle jusqu’en production, grâce à diverses pratiques de CI/CD. Ce processus complet peut être représenté par la succession de trois boucles, au sein desquelles les modèles de données sont promus entre environnements au terme de chaque étape, croissant en volume à mesure que de nouvelles données sont introduites dans le pipeline. 

Source : Dataops.rocks