MÉTHODES Quelle statistique pour le Big Data ?

Entretien avec Gilbert SAPORTA Professeur émérite de statistique appliquée Conservatoire National des Arts et Métiers

Tout le monde s’intéresse au Big Data. Le public est de mieux en mieux informé sur les potentialités que les données massives recèlent et sur les dangers que leur utilisation peut comporter. Mais très rares sont ceux qui savent ce qui se cache « sous le capot » des nouvelles méthodes. Statistique et Société a demandé à Gilbert Saporta, qui fait partie de ce petit nombre, d’éclairer autant que possible les non-spécialistes.

Statistique et société : Du point de vue des méthodes, qu’est-ce qui détermine si on est dans un contexte Big Data ou non ?
Y a-t-il un seuil en nombre d’observations, de variables ?

Un seuil par rapport aux capacités mémoire d’un ordinateur ? Que penser du critère de la « vélocité » si souvent avancé ?

Gilbert Saporta : Quand on évoque le Big Data, on pense en premier lieu au volume des données, en d’autres termes à la taille du fichier correspondant. Une des premières occurrences de l’expression Big Data dans la littérature scientifique est la communication de deux chercheurs de la NASA, Cox et Ellsworth, au congrès SIGGRAPH de 1971. Rappelons tout d’abord que selon les époques la notion de « Big » a beaucoup varié. Qui ne se souvient que la grande taille pour les estimations et les tests commençait à n=30 ? Avec le traitement des recensements, les statisticiens sont confrontés depuis longtemps à des données massives. Comme le rappelle David Donoho2, cela a conduit Herman Hollerith à inventer la carte perforée et à créer IBM.

C’est la technologie qui fixe les limites.

Comme le disait déjà à peu près en ces termes John Tukey : « Big », c’est quand cela ne rentre pas dans ma machine. Il n’est donc pas possible de fixer des seuils. Toutefois on parle de données de grande dimension quand le nombre de variables dépasse de beaucoup le nombre d’observations, mais c’est un sujet à part.

On parlera donc de Big Data quand les données ne peuvent être stockées sur un seul ordinateur (données réparties) et quand les traitements vont nécessiter plusieurs machines (calculs distribués).

Le volume est le premier V, d’une série de trois, introduits par le Gartner Group en 2008.

Le deuxième V est en effet la vélocité qui renvoie aux flux de données recueillies en temps réel sur le web, ou par des capteurs, tels les objets connectés, les compteurs électriques « intelligents », etc. Les problèmes de stockage et d’algorithmique deviennent alors essentiels car on ne peut tout conserver, et il faut recourir à des méthodes incrémentales qui actualisent les résultats au fur et à mesure de l’acquisition de nouvelles données.

Le troisième V, souvent mis en avant, est la variété des types de données recueillies : numériques et qualitatives comme d’habitude, mais aussi des images, des données issues de réseaux sociaux (qui est lié avec qui ?) et non structurées comme des textes.

Poursuivre : https://cedric.cnam.fr/fichiers/art_3959.pdf