Food for thought : Defense Intelligence Analysis in the age of Big data

A la croisée des sujets traités sur ce blog, je vous propose de découvrir cet article qui souligne les enjeux du Big data pour les analystes du renseignement militaire. Defense Intelligence Analysis in the age of Big data est une courte réflexion conjointe du général Paul B Symon, ancien directeur de la Defense Intelligence Organisation australienne (2011-2014) et d'Arzan Tarapore, doctorant au King's College de Londres.

Avant de rentrer dans le document, le lecteur pourra utilement compulser les productions sur ce sujet et des sujets connexes que nous avons récemment produit. Les Armées face aux Big data , sur ce blog et une étude plus dense dans l'édition du mois de novembre 2015 de la Revue Défense Nationale : Le big data, un atout pour les Armées ? Sur les questions de renseignement dans le cyberespace : Le renseignement d'origine cyber CYBINT, innovation ou re-découverte de la roue ?

Le texte s'ouvre sur le constat de l'évolution rapide des agences durant les dix dernières années (conflit en Iraq, Afg, etc) mais considère d'emblée que le prochain challenge à relever est celui de l'intégration des big data:

But in the coming decade, their greatest challenge will be to develop new capabilities to manage and exploit big data.

Le texte s'avère toutefois très équilibré et ne cache pas les "limites" de l'approche big data. Ainsi, dans une première partie les auteurs évoquent les tendances IT qu'ils jugent d'importances, ils présentent ensuite en quoi les "mégadonnées" pourraient modifier l'analyse du renseignement (et les structures en charge de cette analyse) pour enfin relativiser le propos "big data cannot do it all". 

Pour les auteurs, il est donc indispensable que les décideurs des services s'impliquent dans ces phénomènes pour mieux en dégager des opportunités tout en en mesurant les limites. 

Defense and intelligence community (IC) leaders must play an active but balanced role, exploiting big data’s potential, but understanding its limitations.

 1.Les tendances techno (qui ont un impact sur l'analyse en renseignement)   

• Everything is social, mobile and local : L'explosion du big data repose sur le fait que l'information est générée et diffusée par beaucoup d'utilisateurs et non plus par quelques gros producteurs. Les terminaux mobiles sont aujourd'hui le moyen principal de connexion à l'Internet, cette mobilité s'accompagne de plus en plus par de la géolocalisation. 

• Data are Useless Without Data Science : Le processus d'analyse PED - Process, Exploite, Disseminate se nourrit de données, le big data génère alors de nouveaux besoins pour assurer ce cycle analytique. Il faut ainsi intégrer des nouvelles fonctions (data analysts) qui sont à la croisée des statistiques, de l'algorithmique, de l'informatique et d'autres champs. Alors que le modèle dominant dans les agences de renseignement demeure celui de la Guerre froide, c'est à dire la recherche d'informations secrètes en faible quantité, ces dernières doivent aujourd'hui faire face à une dynamique inverse (analyser une quantité énorme d'information). 

• IT solutions Are Customized and Intuitive :  Le rythme soutenue de l'innovation technologique impose aux services de renoncer au développement de solutions internes pour le traitement et la diffusion des données. 

In today’s IT environment of faster innovation and more disruptive and unpredictable technologies, where government lacks the speed or vision to lead innovation, the IC’s best option may be to monitor and leverage incipient innovation instead of attempting to drive it.

• The Internet is Everywhere : De plus en plus d'objets sont connectés, ils ne sont pas exclusivement des interfaces pour les utilisateurs mais ils créent progressivement un "Internet of Things" (c'est à dire l'internet des objets -- qui communiquent entre-eux). Cet aspect nouveau et en forte croissance, est un des moteur de la croissance du "big data".

2.Transformer l'Analyse & les services

Le potentiel des mégadonnées est d'abord vu comme une opportunité pour les analystes d'avoir accès à un volume d'information conséquent par l'intermédiaire d'outils automatiques qui permettront d'améliorer la collecte, le transport, le stockage et l'organisation des données. Cette avancée doit permettre à l'analyste de se concentrer sur les cibles les plus difficiles et les problèmes les plus complexes (nous y reviendrons).
Mais, au-delà, les auteurs considèrent que l'incorporation des nouvelles technologies va fondamentalement changer la manière dont les données sont utilisées par les analystes "multi-sources" (multi-capteurs). 

Thus, they not only improve our capacity to execute existing intelligence missions, but they also create entirely new data-intensive types of analysis.

L'analyse big data repose fondamentalement sur des outils automatiques, des algorithmes et des mécanismes qui échappent bien souvent au traitement de l'analyste. Mais ce qui change réellement par rapport à la vision actuelle de l'analyse c'est la permanence du flux de données. Dans le modèle actuel, l'analyste est en mode "pull" (c'est à dire qu'il va "chercher" ses données et renseignements pour construire son analyse), le big data et ses outils permettent d'envisager un mode "push" (la donnée valorisée, raffinée, est "poussée" vers l'analyste). Ce changement à également un impact sur les produits de l'analyse et la relation avec "les clients". Car les "clients" (décideurs politiques et militaires) ont eux aussi accès à de plus en plus de données et d'information continue. Leur cycle de décision s'est considérablement raccourci et leurs attentes vis-à-vis des services et de leurs analyses ne sont plus les mêmes. Le risque de débordement est réel.

In an environment where data are ubiquitous, customers will expect immediate and authoritative answers and will sideline IC (Intelligence Community) producers that cannot quickly deliver user-friendly products.

Pour autant, les opportunités liées au mégadonnées permettent de repenser les produits de l'analyse pour en faire des véritables outils de décision et de compréhension. Les auteurs estiment ainsi que les produits seront de plus en plus visuels, supplantant ainsi les analyses verbeuses, longues et souvent à contre temps du tempo politique ou militaire. Les outils permettent ainsi de générer des "flux" de données plus ou moins raffinées vers les clients permettant également une interaction directe entre analystes et destinataires.

3. Les limites de la transformation

• Les Big Data ont un impact certain sur les analyses qui visent à répondre aux questions : qui, quoi, où et quand. L'impact est semble-t-il beaucoup plus limité pour répondre aux questions: pourquoi ou comment. Ainsi, l'afflux de données supplémentaires permet d'améliorer la compréhension de ce qu'il s'est passé mais pas nécessairement utile pour comprendre et anticiper ce qu'il peut ou va se passer.
•  Analysis needs more than data. Car cet afflux peut conduire l'analyste à se focaliser sur ce qu'il "voit". La donnée peut donc influencer le travail de l'analyste et entraîner un biais dans son travail qui doit demeurer porté par le "besoin client".
• Analysis needs more expert analysts. Il est de plus en plus crucial de donner du sens à la donnée, surtout lorsqu'elle est abondante. Or, celui qui donne du sens, c'est l'expert matière et non le statisticien ou le data-scientist.
• Les situations complexes ne peuvent être analysées avec plus de données. Les mégadonnées peuvent, en revanche, avoir un impact sensible sur le plan tactique (photos, positions, matériels) mais elles ne peuvent déterminer les intentions de l'adversaire.
• Les agences croient trop souvent que "la compréhension des phénomènes requiert simplement plus de données". C'est le résultat d'une construction et d'une organisation issue de la "guerre froide" et marquée par le recueil clandestin de renseignement.  

4. Alors que faire ?

Les auteurs terminent leur démonstration avec un constat simple:

Simply passing the deluge of data on to customers would be counterproductive; even neatly presented fused data, absent expert assessment and advice, would only decrease the signal-to-noise ratio of useful, actionable intelligence

Puis fondent leur raisonnement sur les hypothèses suivantes:

• Il va devenir de plus en plus difficile pour les agences de conserver le monopole de production et diffusion de l'analyse.
• Les attentes des "clients" augmentent (tant sur la qualité des produits que sur leur forme et la rapidité de diffusion voire l’interaction).
• Le cycle du renseignement est aujourd'hui trop lent et ne répond plus aux exigences du moment. Les "clients" frustrés iront donc chercher l'information ailleurs.
•  L'offre commerciale d'analyse stratégique va se développer et la tendance à la diffusion des outils "users-friendly" va se généraliser.
• La proportion d'informations utiles et classifiées va décroitre (or tout le système de la communauté du renseignement repose sur ce concept).

Ils déclinent alors des propositions pour adapter les structures en charge de l'analyse au profit des autorités politiques et militaires en soulignant leurs atouts. Ainsi pour les auteurs, le facteur décisif pour les agences demeure leur proximité avec les "clients". Elles doivent ainsi valoriser cette opportunité et admettre qu'elles ne pourront peut-être pas répondre, en propre, à toutes les questions. En faisant évoluer les fonctions au sein des agences, en intégrant plus largement des data scientists et des "software engineers" dans les équipes de production d'analyse elles assureront une meilleure prise en compte des mégadonnées. Il convient également de valoriser les cadres, au contact des clients,  qui auront la charge d'assurer l'intégration du big data dans leurs quotidien. 

IC leadership must ensure that expertise and tradecraft are at the center of analytic operations and that knowledge creation and assessment services are at the center of enterprise management—all in the service, ultimately, of decision advantage for the customer. 

 En conclusion, un article dense, qui devrait alimenter la réflexion, dans un contexte où il est toujours utile de repenser les modèles d'organisation face aux évolutions extrêmement rapides des pratiques.