Big data - Quand N = tous suffit

Quand on parle de Big Data on pense de suite à Google, Amazon et on ne s'interesse pas suffisemment au fait que les techniques autour des Big datas ne se limitent ^pas seulement aux très très gros ensembles de données, un exemple tiré du livre " Big data, La révolution des données est en marche" de Viktor mayer - Schonberger Kenneth Cukier prend l'exemple d'une application autour des tricheries entourant les tournois de sumo.

La découverte du trucage de matche de sumo, ce sport national japonais, est une bonne illustration du fait qu'utiliser N=  tous ne signifie pas nécessairement gros volume. Ce sport des empereurs voit régulièrement sa réputation mise à mal par des accusations de combats arrangés, ce qui a toujours été nié avec la plus farouche énérgie. Steven Levitt, économiste enseignant à l'université de Chicago, s'est attelé à la recherche de traces de corruption dans les archives de matchs qui se sont déroulés sur plus d'une décennie - il a examiné l'ensemble des matchs. Dans un article scientifique savoureux publié dans l'American Economic review et repris dans son ouvrage Freakonomics, Levitt et son coauteur ont expliqué pourquoi il était utile de faire l'examen d'autant de données.
Ils ont traqué les anomalies à travers l'analyse des séances de sumo sur onze ans, soit plus de 64 000 combats. et ils sont tombés sur une mine ! Il y avait bien eu des matchs truqués, mais pas là ou la plus part des gens l'auraient soupçonné. Les matchs joués dans le cadre du championnat étaient plus ou moins susceptibles d'être truqués, mais ce que les données indiquaient, c'est qu'il se passait quelque chose de curieux au cours des matchs de fin de tournoi, ceux qui suscitent le moins d'attention, car les enjeux sont devenus bien moins importants (du fait que les lutteurs n'ont aucune chance de remporter un titre).

L'une des particularités du sumo est que les lutteurs, s'ils veulent conserver leur classement et leur revenu, doivent décrocher une majorité de victoires lors des tournois composés de 15 combats. D'où parfois des intérêts asymétriques, quand un lutteur qui totalise 7 victoires et 7 défaites se retrouve confronté à un adversaire qui en est, lui, à 8 victoires et 6 défaites ou mieux. L'issue du match revêt une grande importance pour le premier et quasiment aucune pour le second. dans ces conditions, et sur la base d'un simple calcul arithmétique, le lutteur qui a besoin de la victoire a de fortes probabilités de, l'obtenir.

Se peut-il que ce dernier se batte avec plus de détermination ? Sans doute. Mais les données ont révélés l'existence d'un autre phénomène :  le fait que les lutteurs qui ont le plus intérêt à gagner remporte le match en moyenne 25% de fois plus souvent. Il est difficile de mettre uniquement sur le compte de l'adrénaline un écart aussi grand. Après analyse fine des données, on a vu que, lors qu premier matche qui mettait face à face les deux mêmes lutteurs, le perdant du combat précédent avait beaucoup plus de probabilités de l'emporter que lors d'affrontements ultérieurs. Ainsi la première victoire apparaît comme un "cadeau" d'un concurrent à l'autre, étant donné que, dans le monde très soudé du sumo, un "bienfait n'est jamais perdu" !

de telels informations étaient parfaitement visibles, exposées au regard de tous. Mais n'auraient sans doute pas été révélées au moyen de l'échantillonnage aléatoire des combats et de statistiques de base : sans savoir quoi chercher, il aurait été impossible de savoir quel échantillon utiliser. En revanche, bien plus de données
- l'examen de l'ensemble des matchs - ont conduit Levitt et son collègue à leur découverte. Une enquête réalisée à partir de Big data fait presque songer à une partie de pêche : rien ne dit au départ qu'il y aura prise ni de quelle sorte de prise il s'agira.