Big Data
Qu’est-ce exactement que le Big Data
Le Big Data désigne les ressources d’informations dont les caractéristiques en termes de volume, de vélocité et de variété imposent l’utilisation de technologies et de méthodes analytiques particulières pour générer de la valeur, et qui dépassent en général les capacités d’une seule et unique machine et nécessitent des traitements parallélisés.
En d’autres termes, le Big Data est composé de jeux de données complexes, provenant essentiellement de nouvelles sources. Ces ensembles de données sont si volumineux qu’un logiciel de traitement de données traditionnel ne peut tout simplement pas les gérer. Mais ces énormes volumes de données peuvent être utilisés pour résoudre des problèmes que vous n’auriez jamais pu résoudre auparavant.
En résumé, le Big Data désigne des données plus variées, arrivant dans des volumes de plus en plus importants et avec une vitesse plus élevée. Cette définition est également connue sous le nom des trois « V»
Les 3 « V » du Big Data
Volume
La quantité de données a son importance. Avec le Big Data, vous devrez traiter de gros volumes de données non structurées et à faible densité. Il peut s’agir de données de valeur inconnue, comme des flux de données Twitter, des flux de clics sur une page web ou une application mobile ou d’un appareil équipé d’un capteur.
Pour certaines entreprises, cela peut correspondre à des dizaines de téraoctets de données. Pour d’autres, il peut s’agir de centaines de pétaoctets.
Vélocité
La vitesse à laquelle les données sont reçues et éventuellement traitées. Normalement, les données haute vitesse sont transmises directement à la mémoire, plutôt que d’être écrites sur le disque. Certains produits intelligents accessibles via Internet opèrent en temps réel ou quasi réel et nécessitent une évaluation et une action en temps réel.
Variété
La variété fait allusion aux nombreux types de données disponibles. Les types de données traditionnels ont été structurés et trouvent naturellement leur place dans une base de données relationnelle. Avec l’augmentation du Big Data, les données ne sont pas nécessairement structurées. Les types de données non structurés et semi structurés, tels que le texte, l’audio et la vidéo, nécessitent un prétraitement supplémentaire pour en déduire le sens et prendre en charge les métadonnées.
2 autres « V » du Big Data
Deux autres « V » ont vu le jour ces dernières années : la valeur et la véracité. Les données possèdent une valeur intrinsèque. Elles ne présentent cependant aucune utilité tant que leur valeur n’est pas découverte. Tout aussi important : Quelle est la véracité de vos données et leur fiabilité ?
À l’heure actuelle, le Big Data revêt une importance capitale. Pensez à certaines des plus grandes entreprises de technologie du monde. Une grande partie de la valeur qu’elles offrent provient de leurs données, qu’elles analysent en permanence afin de produire plus efficacement et mettre au point de nouveaux produits.
Les avancées technologiques récentes ont réduit de manière exponentielle le coût de stockage et de calcul des données, ce qui facilite plus que jamais leur stockage. Un plus grand volume de Big Data étant maintenant plus économique et accessible, vous êtes en mesure de prendre des décisions commerciales plus précises.
Trouver de la valeur dans le Big Data ne consiste pas seulement à l’analyser (ce qui est un avantage supplémentaire). C’est un processus de découverte à part entière qui implique des analystes, utilisateurs d’entreprise et dirigeants perspicaces, qui posent les bonnes questions, détectent des tendances, émettent des hypothèses informées et anticipent des comportements.
Les 5 « V » du Big Data
Pourquoi le Big Data ?
Bien que le concept de Big Data soit relativement nouveau, les grands ensembles de données remontent aux années 1960 et 1970, lorsque le monde des données commençait tout juste à décoller avec les premiers centres de données et le développement de bases de données relationnelles.
En 2005, on a pris conscience de la quantité de données générées par les utilisateurs sur Facebook, YouTube et d’autres services en ligne. Hadoop (une infrastructure open source créée spécifiquement pour stocker et analyser les jeux Big Data) a été développé la même année. NoSQL a également commencé à être utilisé de plus en plus à cette époque.
Ainsi l’explosion de la quantité de données (Pétaoctet voir plus) générées par les réseaux sociaux, les applications web et mobiles, les objets connectés, les logs, etc… Indiquent l’importance du Big Data de nos jours.
Cas d’utilisation du Big Data
Développement de produits
Des sociétés comme Netflix et Procter & Gamble utilisent le Big Data pour anticiper la demande des clients. Elles créent des modèles prédictifs pour de nouveaux produits et services, en classant les principaux attributs de produits ou services passés et présents et en modélisant la relation entre ces attributs et le succès commercial de leurs offres. De plus, P&G utilise les données et analyses émanant de groupes cibles, réseaux sociaux, marchés test et présentations en avant-première pour prévoir, produire et lancer de nouveaux produits.
Maintenance prédictive
Les facteurs permettant de prédire les défaillances mécaniques peuvent être profondément enfouis dans des données structurées, telles que l’année, la marque et le modèle de l’équipement, ainsi que dans des données non structurées couvrant des millions d’entrées de journal, de données de capteur, de messages d’erreur et de température du moteur. En analysant ces indications de problèmes potentiels avant que ceux-ci surgissent, les entreprises sont à même de déployer leur maintenance de
manière plus rentable et d’optimiser le temps de fonctionnement de leurs pièces et équipements.
Expérience client
La course aux clients est lancée. Il est désormais possible d’avoir une meilleure vue d’ensemble de l’expérience client qu’auparavant. Le Big Data vous permet de rassembler des données provenant de médias sociaux, de visites Web, de journaux d’appels et d’autres sources pour améliorer l’expérience d’interaction et maximiser la valeur fournie. Commencez à proposer des offres personnalisées, à réduire la perte de clients et à traiter les problèmes de manière proactive.
Fraude et conformité
En matière de sécurité, il ne s’agit pas que de quelques pirates informatiques malhonnêtes : vous faites face à des équipes entières. Les paysages de la sécurité et les exigences de conformité sont en évolution constante. Le Big Data vous aide à identifier des modèles dans les données qui indiquent une fraude et à agréger de grands volumes d’informations permettant d’accélérer le reporting
réglementaire.
Machine Learning
Le machine learning est un sujet brûlant en ce moment. Les données, plus particulièrement le Big Data, l’ont rendu possible. Nous sommes désormais capables d’enseigner aux machines, plutôt que de simplement les programmer. La disponibilité du Big Data pour former des modèles de machine learning rend cela possible.
Efficacité opérationnelle
En matière de sécurité, il ne s’agit pas que de quelques pirates informatiques malhonnêtes : vous faites face à des équipes entières. Les paysages de la sécurité et les exigences de conformité sont en évolution constante.
Le Big Data vous aide à identifier des modèles dans les données qui indiquent une fraude et à agréger de grands volumes d’informations permettant d’accélérer le reporting réglementaire.
Dynamiser l’innovation
Le Big Data peut vous aider à innover en étudiant les interdépendances entre les êtres humains, les institutions, les entités et les processus, puis en déterminant de nouvelles façons d’utiliser ces informations. Exploiter les informations pour améliorer les décisions dans les domaines financiers et de planification. Examiner les tendances et les souhaits des clients pour offrir de nouveaux produits et services. Mettre en place une tarification dynamique. Les possibilités sont infinies.
Fonctionnement du Big Data
1. Intégrer
2. Gérer
3. Analyser
1. Intégrer
Où et comment collecter des données ?
Le Big Data rassemble des données provenant de nombreuses sources et applications disparates. On peut citer par exemple les revenus d’une entreprise, les données échangées par les utilisateurs sur un site internet, les données envoyées par des capteurs (IoT), les données hospitalières, les données d’une banque (transactions par exemple), etc. .
Les moyens de collecte des données
• Ratissage du Web: nous créons des algorithmes qui exploreront les sites Web pour obtenir des pages Web dans le but d’extraire des informations significatives et structurées.
• Les outils de collecte de données: il existe plusieurs outils gratuits et payants et qui permettent de collecter des données. Nous pouvons citer Kobo Tool, Survey Solution, les outils de collecte de de traitement de l’information ETL, etc…
• Les API: de nombreux sites de services en ligne proposent des interfaces de programmation (API) qui vous permettent de faire des demandes explicites dans un format structuré pour récupérer des données ou les envoyer à d’autres applications.
• Transmettre et diffuser les données entre les applications distribuées (Kafka)
2 – Gérer
Le stockage des données
Le Big Data nécessite du stockage. Votre solution de stockage peut se trouver dans le cloud, sur votre site, ou les deux à la fois. Vous pouvez stocker vos données sous la forme de votre choix et imposer à ces jeux de données vos exigences de traitement, ainsi que les moteurs de traitement nécessaires, à la demande. Nombreux sont ceux qui choisissent leur solution de stockage en fonction de l’endroit où sont hébergées leurs données. Le cloud est de plus en plus adopté, car il prend en charge vos besoins
informatiques actuels et laisse la possibilité d’augmenter les ressources en fonction des besoins.
Stocker et sécuriser les données d’une manière distribuée (Hadoop HDFS, NoSQL: MongoDB, SQL, Spark,
etc…)
3 – Analyser
Votre investissement dans le Big Data porte ses fruits dès lors que vous êtes en mesure d’analyser vos données et d’agir à partir de l’analyse. Forgez-vous un nouveau point de vue grâce à une analyse visuelle de vos divers jeux de données. Explorez davantage les données afin de faire de nouvelles découvertes. Partagez vos conclusions avec d’autres utilisateurs. Créez des modèles de données avec l’apprentissage automatique et l’intelligence artificielle. Exploitez vos données.
Traiter et Analyser les données d’une manière distribuée en vu d’en extraire la connaissance pour des prises de décisions:
Big Data processing: Batch Processing et Stream Processing avec des outils comme MapReduce, Spark,
Kafka, etc..
Data Mining et Machine Learning: Tensorflow, DeepLearning, etc…
Analyser et visualiser les indicateurs de prises de décisions:
Data visualisation tools: Tableau, Looker, etc…
