Quelques définitions autour du BigData de l'IA et puis de la Data.

 

Glossaire du Big Data - 20 définitions

Terminons ce bref exposé du Big Data par un glossaire. Pourquoi ? Pour comprendre un sujet, il est important d’en connaître les concepts et les mots. Dans le cadre d’un article d’introduction au Big Data, il nous a semblé utile de proposer une définition des principales notions liées de près ou de loin au Big Data.

Algorithmes

On ne peut pas parler de Big Data sans parler d’algorithmes. Pour donner une définition synthétique, un algorithme est une formule mathématique ou un ensemble d’instructions données à une machine qui décrit comment la donnée doit être processée pour obtenir l’information voulue.

Batch Processing

Le batch processing est une réalité ancienne. Il consiste à séquencer le traitement des données, à traiter les données par lots. Le Big Data a donné une nouvelle jeunesse à ce concept. Le framework Hadoop est basé sur cette méthode de traitement. Le batch processing s’oppose au streaming de données en temps réel.

Big Data

Big Data est un terme générique qui désigne les datasets qui ne peuvent pas être gérés par des serveurs et des outils classiques en raison de leur volume, de leur vélocité et de leur variété. Le concept de Big Data fait aussi référence aux technologies et aux stratégies mises en œuvre pour gérer ce type de données.

Business Intelligence

La Business Intelligence (souvent désignée par son acronyme BI) est la démarche qui consiste à analyser de gros volumes de données pour en extraire des enseignements (insights), c’est-à-dire des informations à valeur ajoutée permettant d’améliorer et de mieux comprendre son activité. La BI est utilisé pour améliorer la prise de décision (data-driven).

Cloud Computing

Le Cloud Computing désigne le fait d’utiliser internet (ie. des serveurs distants) pour stocker les données et organiser leur accès, en lieu et place d’un disque dur d’ordinateur. Le cloud computing, en démultipliant les possibilités de stockage et en facilitant l’accès aux données, a joué et continue de jouer un grand rôle dans l’essor du Big Data.

Cluster Computing

Un seul ordinateur ne peut pas traiter les volumes de données qui sont ceux du Big Data. Le cluster computing consiste à mettre en réseau plusieurs ordinateurs / serveurs pour créer des systèmes ayant la capacité de réaliser des traitements Big Data.

Data Lake

Un Data Lake (Lac de Données) est un endroit où est réuni un vaste ensemble de données dont la plupart sont dans leur état brut et non-structuré. Le Data Lake se distingue du Data Warehouse que nous allons définir dans un instant.

Data Mining

Le data mining consiste à détecter des patterns / des modèles à partir de l’analyse de vastes ensembles de données. Le data mining est l’art de mettre de l’intelligence dans les données, de créer des connexions entre données, de transformer les données innombrables du Big Data en informations exploitables, en « insights ».

(Big) Data Scientist

Un Data Scientist est une personne qui sait organiser des données structurées et non-structurées grâce à des compétences très pointues en statistiques, en mathématiques et en programmation. Il analyse les données pour y découvrir des schémas (patterns) et des informations à même d’améliorer la compréhension du business et d’en améliorer la performance. Il est l’homme du Big Data. Il ne doit pas être confondu avec le Data Engineer, dont le rôle est de construire les infrastructures data et d’en assurer la maintenance.

Data Visualization

La Data Visualization est l’art de transformer des données brutes en informations grâce à des outils graphiques (graphes, diagrammes, courbes, tableaux…) organisés dans des tableaux de bord ou reportings. En un mot : l’art de mettre en image les données de l’entreprise pour y déceler plus facilement des enseignements et aider à la prise de décision.

Data Warehouse

Un Data Warehouse (entrepôt de données) est un lieu de stockage des données. A la différence du Data Lake (qui est une sorte de fourre-tout), le Data Warehouse est un lieu où les données sont organisées. Le Data Lake stocke de l’eau (comme un lac !), le Data Warehouse stocke des bouteilles d’eau entreprosées sur des rangées – pour reprendre une métaphore souvent utilisée. Les données des Data Warehouses sont organisées pour en faciliter l’analyse et le reporting. Le Big Data a surtout affaire aux Data Warehouses Cloud (les Data Warehouses classiques étant associés aux systèmes classiques de management des données).

Données structurées / Données non-structurées

Les données structurées désignent toutes les données pouvant être intégrées dans des bases de données relationnelles (SQL). Ce sont des données qui, par leur structure, peuvent être associées entre elles au sein de tableaux.  Les données non-structurées, à l’inverse, désignent toutes les autres données : les fichiers audios, les fichiers vidéos, les posts sur les réseaux sociaux, les emails, etc.

ETL

ETL est un acronyme pour : Extract, Transform, Load. En français : Extraire, Transformer et Charger. L’ETL désigne le process d’extraction et de préparation des données. L’ETL est traditionnellement associé aux Data Warehouses, mais le process est aussi utilisé dans les systèmes Big Data.

Hadoop

Hadoop reste aujourd’hui encore la principale plateforme Big Data. Basé sur Java, le framework open source Hadoop est utilisé pour stocker et traiter des données en masse. Hadoop fait partie du projet Apache, qui est aussi à l’origine des framework Pig, Hive et Spark.

Intelligence artificielle

L’intelligence artificielle désigne l’intelligence des machines, par opposition avec l’intelligence humaine. On parle d’IA, ou d’AI – Artificial Intelligence. Le terme même d’intelligence artificielle est parfois contesté, ces détracteurs considérant l’intelligence comme une faculté indissociablement liée à une conscience – conscience que les machines n’ont pas. Pour résumer, l’IA désigne la capacité pour une machine d’effectuer des tâches normalement réalisées par les humains et nécessitant des capacités dépassant le schème classique de la programmation : reconnaissance vocale, perception visuelle, prise de décision, prédiction, capacité d’apprentissage. Le machine learning est une sous-partie du l’intelligence artificielle.

Machine Learning

Le Machine Learning est un ensemble de techniques et de technologies permettant à un système informatique d’apprendre, de s’ajuster et de s’améliorer grâce aux données ingérées par lui. Le machine learning est à la base des progrès de l’intelligence artificielle.

Métadonnées

Une métadonnée est une donnée qui décrit une autre donnée. Par exemple, la date à laquelle une donnée a été enregistrée est une meta-donnée. Le lieu où a été prise une photo est un autre exemple de métadonnées. D’autres exemples ? La taille d’un fichier, l’auteur de la donnée…Les métadonnées décrivent le contexte des données.

NoSQL

NoSQL est un terme générique utilisé pour désigner toutes les bases de données construites en dehors du modèle classique relationnel. Il existe plusieurs types de bases de données NoSQL : les bases de données orientées documents, les bases de données orientées clés-valeurs, les bases de données orientées colonnes. Les bases NoSQL sont au cœur des projets BigData. Elles rendent possible la gestion d’énormes volumes de données non-structurées. Cassandra et MongoDB représentent deux exemples emblématiques de BDD NoSQL.

Nous arrivons au terme de cette introduction au Big Data. Cette présentation était modeste dans ses intentions, nous ne prétendons pas avoir épuisé le sujet – un sujet si vaste ! Si nous vous avons éclairés sur les principaux enjeux, cas d’usage et concepts du Big Data, nous avons atteint notre objectif !

R (et Python)

R & Python sont les deux principaux langages de programmation utilisés dans le Big Data. Python est plus simple à utiliser que R, plus accessible aux débutants. Quoi qu’il en soit, ces deux langages, par leur flexibilité et leur efficacité, sont très pratiques pour processer de gros data sets. R est un langage plus spécifique dans la mesure où il est surtout utilisé pour réaliser des analyses statistiques. Open source, ces deux langages font l’objet d’améliorations continues de la part de leurs utilisateurs. De nouvelles bibliothèques sont régulièrement créées (par exemple ggplot2 pour la Data Visualization).

Requêtes (Queries)

Une requête est une question adressée à une base de données pour obtenir les réponses que l’on souhaite. Les requêtes peuvent être plus ou moins complexes, suivant la nature des interrogations. Une requête simple serait par exemple : « Donne-moi tous les contacts de sexe féminin ». Une requête plus complexe serait : « Donne-moi tous les contacts féminins de 30 à 40 ans ayant acheté le produit X et dont le dernier achat remonte à moins de X jours ». On le voit, la complexité des requêtes se mesure au nombre de conditions voulues. Les requêtes (queries) utilisées en Big Data sont bien plus complexes que celles utilisées sur les bases de données relationnelles.

Extrait de : https://www.custup.com/big-data-introduction/

La maison de l'Intelligence Artificielle de Nice SOphia-Antipolis

La Maison de l'IA de Sophia Antipolis est un centre d'innovation et d'excellence dédié à l'intelligence artificielle, situé à Sophia Antipolis, une technopole située dans la région Provence-Alpes-Côte d'Azur en France. La Maison de l'IA a été créée en 2019 par la société INRIA (Institut national de recherche en informatique et en automatique) en partenariat avec la Communauté d'Agglomération Sophia Antipolis.

Le but de la Maison de l'IA est de promouvoir la recherche, le développement et l'innovation en matière d'intelligence artificielle en France et en Europe. Elle offre un espace de travail collaboratif pour les chercheurs, les start-ups, les PME et les grandes entreprises qui travaillent sur des projets liés à l'IA. La Maison de l'IA organise également des événements, des conférences et des formations pour sensibiliser le public à l'IA et former les professionnels du secteur.

En somme, la Maison de l'IA de Sophia Antipolis est un lieu de rencontre et de collaboration pour les acteurs de l'IA en France et en Europe, visant à développer et promouvoir cette technologie innovante.

BigDataParis le salon da la data les 25 et 26 septembre 2023.

BigData Paris est un événement annuel qui se déroule à Paris et qui rassemble des professionnels, des experts et des passionnés du domaine de la data, du machine learning et de l'intelligence artificielle. 

L'événement a pour but de fournir des informations sur les dernières tendances, les technologies et les innovations en matière de données, ainsi que de promouvoir les échanges et les rencontres entre les acteurs de ce secteur.

Il propose des conférences, des ateliers, des démonstrations et des expositions, ainsi que des opportunités de réseautage pour les participants. BigData Paris est une plateforme de référence pour les entreprises et les organisations qui cherchent à comprendre comment utiliser les données pour améliorer leur activité et leur performance.

https://www.bigdataparis.com/

Suggest Machine : la machine qui vous donne des idees de mots cles

 Suggest Machine est un outil gratuit de recherche sur les mots clés de la longue traine, il vous révèle la parti cachée, la plus grande partie de l'icebarg de recherche utilisé par les sites internet.

Le principe de fonctionnement est facile, vous entrez votre sujet et vous obtenez très simplement une énorme liste de mots cles avec des exemples d'intentions de recherche sous-jacentes. 

http://suggestmachine.com

Cet outil est l'outil indispensable pour positionner au mieux son site internet dans les moteurs de recherche.

Cinq arguments pour une prise de décision fondée sur les données

 Le succès d’une entreprise dépend de sa capacité à prendre les bonnes décisions. Selon Martin Ebel, responsable Veille stratégique chez Seven Senders, l’intégration des données dans le processus décisionnel ouvre d’immenses perspectives, en particulier dans le secteur logistique.

Argument n° 1: les données ne mentent pas

De nombreux mots clés – par exemple, « analyse prédictive » ou « smart data / données intelligentes » –  décrivent une prise de décision basée sur les données. Chacun d’eux repose sur le même principe, à savoir que les données ne mentent pas, tandis que les interprétations et les intuitions sont parfois trompeuses. Pour autant, cela ne signifie pas qu’un décideur doit ignorer son intuition. Simplement, il se basera sur les données pour confirmer ou infirmer son point de vue.

Il appartient en outre au décideur de choisir exactement les indicateurs clés de performance à prendre en compte et d’en réaliser l’interprétation. La prise de décision fondée sur les données ne consiste donc pas à s’en remettre aveuglément aux faits et chiffres mais à intégrer ces derniers dans le processus et à combiner subtilement l’expérience et l’analyse de données pour effectuer les bons arbitrages.

Argument n° 2: la prise de décision fondée sur les données est rapide

Les cadres ont généralement peu de temps pour décider, en particulier dans un environnement dynamique comme celui de la logistique. Étant donné que la prise de décision fondée sur les données est plus simple à déléguer ou démocratiser que l’intuition (voir également raison n° 3), le processus décisionnel gagne en rapidité.

Les circuits de décision sont automatiquement plus brefs et la chaîne logistique dans son ensemble est plus courte. L’entreprise en retire un avantage concurrentiel. Cela vaut particulièrement dans le domaine des expéditions, car la logistique des expéditions est assez facilement quantifiable et repose sur des « faits concrets ».

Prenons un exemple de décision tout à fait classique : quel transporteur répond le mieux à mes impératifs spécifiques ? Pour le savoir, j’ai besoin de données concernant les quantités (potentielles), les délais, les capacités disponibles et bien évidemment les coûts. Toutes ces données sont disponibles et permettent de choisir le meilleur transporteur, avec un minimum d’efforts et dans un laps de temps record.

« La prise de décision basée sur les données ne consiste pas à s’en remettre aveuglément aux faits et chiffres mais à intégrer ces derniers dans le processus décisionnel et à combiner subtilement l’expérience et l’analyse de données pour effectuer les bons arbitrages. »

Martin Ebel, responsable Veille stratégique chez Seven Senders

Argument n° 3: les données sont un facteur de démocratisation et d’optimisation

Les décisions fondées sur les données ne résultent pas d’un processus purement subjectif, propre à une ou quelques personnes, et sont donc plus démocratiques. Toutefois, il est important que les décisions ne dépendent pas exclusivement des données.

Au bout du compte, les indicateurs clés de performance doivent servir à expliquer les motifs d’une décision. Cela est possible à condition d’utiliser des données pertinentes et correctement modélisées/traitées. Or, des erreurs peuvent se produire. Ainsi, il peut arriver que les données ne soient pas probantes pour soutenir une décision ou que leur analyse repose sur des facteurs inadéquats. Une surveillance constante s’impose donc pour limiter les sources d’erreur. Quoi qu’il en soit, les avantages l’emportent. 

Argument n° 4: les données favorisent la transparence et donc la confiance

La supply chain est un ensemble complexe qui intègre de nombreuses parties prenantes et phases de processus. Les données créent la transparence. Sur le plan décisionnel, cela signifie que les décisions ne procèdent pas d’une démarche individuelle et sont au contraire traçables et compréhensibles par tous.

Pour cela, tous les acteurs doivent être interconnectés et avoir accès aux données pertinentes qui les concernent. Chaque indicateur clé de performance a une finalité pour un cadre. Ce mode de fonctionnement, qui garantit la prise de décision au bénéfice de toute la chaîne logistique, favorise la confiance à long terme à travers tous les maillons de la chaîne et entre tous les partenaires.

Argument n° 5: les décisions fondées sur les données réduisent les coûts

Les données permettent de mieux prévoir les événements au sein de la supply chain, renforçant la fiabilité de la planification. Par exemple : à travers une surveillance ciblée des délais, il est possible d’identifier rapidement les problèmes et de prendre les mesures adéquates. Les entreprises d’expédition tirent parti de cet avantage dans le contexte actuel de crise du coronavirus.

De même, prévoir les quantités à expédier dans les périodes où les capacités sont limitées permet d’optimiser la planification des capacités pour livrer en temps voulu. Cela vaut également pour les événements récurrents de type Black Friday ou fêtes de Noël. La planification optimisée des capacités au moyen des données et des décisions fondées sur les données améliore les processus opérationnels et, pour finir, réduit les coûts.

Performances d’expédition accrues

Seven Senders favorise la prise de décision fondée sur les données. Martin Ebel, responsable Veille stratégique, explique comment cela fonctionne:

« Nous exploitons nos connaissances et notre expérience des différents marchés en vue d’élaborer la solution répondant aux besoins du client. Pour cela, nous rassemblons et standardisons des données de plusieurs natures et qualités, ce qui permet par exemple d’établir un relevé flexible des délais. Les avantages pour nos clients sont multiples: notre produit Analytics leur permet de consulter directement les données et de mesurer en amont la performance des transporteurs; dès lors, ils sont à même de prendre les bonnes décisions pour leurs produits et d’offrir une expérience de livraison irréprochable à leurs propres clients. Leur avantage concurrentiel est assuré, partout en Europe. »

À propos de Martin Ebel

Martin Ebel est responsable Veille stratégique de Seven Senders depuis août 2017 et coordonne l’équipe dédiée à cette activité. Entré dans l’entreprise en septembre 2015, il a officié en tant que directeur opérationnel puis analyste supply chain avant de prendre sa fonction actuelle.

Les machines à vecteurs de support ou séparateurs à vaste marge

Les machines à vecteurs de support ou séparateurs à vaste marge (en anglais support vector machine, SVM) sont un ensemble de techniques d'apprentissage supervisédestinées à résoudre des problèmes de discriminationnote 1 et de régression. Les SVM sont une généralisation des classifieurs linéaires.

Les séparateurs à vaste marge ont été développés dans les années 1990 à partir des considérations théoriques de Vladimir Vapnik sur le développement d'une théorie statistique de l'apprentissage : la théorie de Vapnik-Tchervonenkis. Ils ont rapidement été adoptés pour leur capacité à travailler avec des données de grandes dimensions, le faible nombre d'hyperparamètres, leurs garanties théoriques, et leurs bons résultats en pratique.

Les SVM ont été appliqués à de très nombreux domaines (bio-informatique, recherche d'information, vision par ordinateur, finance1…). Selon les données, la performance des machines à vecteurs de support est de même ordre, ou même supérieure, à celle d'un réseau de neurones ou d'un modèle de mélanges gaussiens^{[réf. souhaitée]}.

Pour continuer : https://fr.wikipedia.org/wiki/Machine_%C3%A0_vecteurs_de_support

Pour essayer de comprendre mieux : https://pastel.archives-ouvertes.fr/pastel-00001124/document

MÉTHODES Quelle statistique pour le Big Data ?

Entretien avec Gilbert SAPORTA Professeur émérite de statistique appliquée Conservatoire National des Arts et Métiers

Tout le monde s’intéresse au Big Data. Le public est de mieux en mieux informé sur les potentialités que les données massives recèlent et sur les dangers que leur utilisation peut comporter. Mais très rares sont ceux qui savent ce qui se cache « sous le capot » des nouvelles méthodes. Statistique et Société a demandé à Gilbert Saporta, qui fait partie de ce petit nombre, d’éclairer autant que possible les non-spécialistes.

Statistique et société : Du point de vue des méthodes, qu’est-ce qui détermine si on est dans un contexte Big Data ou non ?
Y a-t-il un seuil en nombre d’observations, de variables ?

Un seuil par rapport aux capacités mémoire d’un ordinateur ? Que penser du critère de la « vélocité » si souvent avancé ?

Gilbert Saporta : Quand on évoque le Big Data, on pense en premier lieu au volume des données, en d’autres termes à la taille du fichier correspondant. Une des premières occurrences de l’expression Big Data dans la littérature scientifique est la communication de deux chercheurs de la NASA, Cox et Ellsworth, au congrès SIGGRAPH de 1971. Rappelons tout d’abord que selon les époques la notion de « Big » a beaucoup varié. Qui ne se souvient que la grande taille pour les estimations et les tests commençait à n=30 ? Avec le traitement des recensements, les statisticiens sont confrontés depuis longtemps à des données massives. Comme le rappelle David Donoho2, cela a conduit Herman Hollerith à inventer la carte perforée et à créer IBM.

C’est la technologie qui fixe les limites.

Comme le disait déjà à peu près en ces termes John Tukey : « Big », c’est quand cela ne rentre pas dans ma machine. Il n’est donc pas possible de fixer des seuils. Toutefois on parle de données de grande dimension quand le nombre de variables dépasse de beaucoup le nombre d’observations, mais c’est un sujet à part.

On parlera donc de Big Data quand les données ne peuvent être stockées sur un seul ordinateur (données réparties) et quand les traitements vont nécessiter plusieurs machines (calculs distribués).

Le volume est le premier V, d’une série de trois, introduits par le Gartner Group en 2008.

Le deuxième V est en effet la vélocité qui renvoie aux flux de données recueillies en temps réel sur le web, ou par des capteurs, tels les objets connectés, les compteurs électriques « intelligents », etc. Les problèmes de stockage et d’algorithmique deviennent alors essentiels car on ne peut tout conserver, et il faut recourir à des méthodes incrémentales qui actualisent les résultats au fur et à mesure de l’acquisition de nouvelles données.

Le troisième V, souvent mis en avant, est la variété des types de données recueillies : numériques et qualitatives comme d’habitude, mais aussi des images, des données issues de réseaux sociaux (qui est lié avec qui ?) et non structurées comme des textes.

Poursuivre : https://cedric.cnam.fr/fichiers/art_3959.pdf