Voici pourquoi Huawei place un cerveau dans son smartphone

Qualcomm ne veut plus que nous utilisions le terme "processeur", ce mot ne suffit pas à définir le Kirin 970. Grâce à de nouveaux composants, cette puce a gagné en complexité et arrive à effectuer de nouvelles tâches, notamment en matière d'intelligence artificielle puisque cette dernière devrait être beaucoup plus efficace. 

Qu'est-ce qui rend le NPU si particulier ?

Avec le NPU, des tâches telles que la reconnaissance d'image devraient être jusqu'à 25 fois plus rapides qu'avec un CPU classique, le tout en consommant 50 fois moins d'énergie. La puce graphique, elle, est "seulement" 4 fois plus rapide et 8 fois moins énergivore que le CPU. Notez que ces chiffres ont été communiqués par Huawei.

Quitte à avoir quelque chose de très puissant, autant l'utiliser. Huawei travaille sur des implémentations logicielles et certaines d'entre elles sont utilisées sur le Huawei Mate 10 Pro, les autres arriveront plus tard via des mises à jour. Nous vous proposons un aperçu de ces fonctionnalités.

Reconnaissance faciale : grâce au NPU et aux données de Huawei on obtient une photo parfaite

Regardez dans un restaurant, vous trouverez toujours des gens qui photographient leur repas et qui partagent la photo sur les réseaux sociaux. Pour que le repas paraisse vraiment bon, l'image doit être précise, sans bruit et avec de belles couleurs. Si la luminosité du restaurant n'est pas au rendez-vous, vous pouvez essayer de sauver la situation grâce à des filtres sur Instagram.

Sur son Mate 10 Pro, Huawei place une plus grosse ouverture que celle que l'on trouve sur le Mate 9, mais le hardware est le même. Ceci dit, il est boosté par le NPU. Huawei a une base de données de 100 millions d'images et son intelligence les utilise pour apprendre, ce qui permet au smartphone de détecter en temps réel de quel objet il s'agit lorsque l'utilisateur s'apprête à prendre une photo.

Les humains, les animaux, la nature, l'architecture, des spaghettis à la sauce bolognaise... La puce reconnaît tous les objets sans même à chercher sur ses serveurs. En fonction de l'objet, il adapte la luminosité et procède à des modifications : la peau paraît alors plus lisse, les boutons disparaissent, l'environnement derrière les visages ou les fleurs est rendu plus flou, les fraises deviennent plus rouges...

Les appareils photo actuels rencontrent des problèmes lorsque la luminosité pose problème, par exemple dans les rues la nuit lorsque la lumière est faible et/ou artificielle.  Grâce au NPU, la scène est changée car diverses luminosités sont mélangées et nous trouvons un bon compromis entre netteté et luminosité. Ainsi, les zones d'ombre sont moins obscures et les détails sont plus visibles.

Traductions hors ligne : d'abord le texte, plus tard la voix

Dans le cadre d'une coopération avec Microsoft, Huawei propose un système de traduction exceptionnel. Vous pouvez télécharger 40 langues qui vous permettre de traduire des blocs de texte que vous copiez depuis d'autres applications ou que vous scannez à l'aide de l'appareil photo. Ainsi, vous pourrez traduire des noms de rues en chinois ou lire le menu dans un restaurant. Bien sûr, cela était possible avant l'utilisation d'un NPU, mais désormais le système travaille trois fois plus vite. 

Malheureusement, la traduction n'est possible qu'en mode texte. Ce n'est qu'une question de temps avant que ce système ne fonctionne aussi pour la voix : le traducteur prononcera les phrases. Les Pixel Buds pourraient bien voir arriver de la concurrence.

Le NPU à la rescousse du CPU

Hormis les applications spécialement optimisées, le NPU ne présente pas de véritable avantage au niveau des performances. C'est énervant puisque de nombreuses applications pourraient en profiter : elles seraient plus rapides et consommeraient moins d'énergie. Ce dont Huawei a besoin, c'est du soutien de l'écosystème.

Ici, on veut utiliser entre autre chose les efforts qu'a fait Google avec le Machine Learning Framework Tensorflow Lite. Les optimisations arriveront au plus tard avec Android P dans beaucoup d'applications. Le NPU de Huawei est censé reconnaître chaque application et les booster de 10 à 100%, les développeurs d'applications n'ont pas à implémenter d'optimisations nécessaires.

Des développeurs motivés peuvent même rendre ce boost 10 fois plus puissant. Il faut alors ajouter aux optimisations Machine Learning (avec TensorFlow ou Caffe) d'autres adaptations avec le HiAI propriétaire de Huawei. Huawei estime que cela occuperait un employé pendant toute une semaine. Nous verrons bien à l'avenir si HiAI quitte le monde de Huawei.

Perspective normale

Le NPU fait une très bonne prestation dans la reconnaissance de motifs, mais des données nécessaires sont souvent uniquement dans le cloud. L'intelligence artificielle du cloud et celle hors ligne ne sont donc pas bien équilibrées, ce n'est qu'en configurant l'écosystème sur le nouveau matériel qu'on en verra les avantages.

La reconnaissance vocale et manuscrite permettent d'obtenir des traductions, la reconnaissance d'image permet de tagger et retrouver des photos, la reconnaissance de voix et de fond sonore permetttent d'améliorer la qualité téléphonique. Cette dernière est déjà dans le Mate 10 Pro.

De nombreuses tâches impliquaient jusqu'alors un matériel spécifique ainsi que des appareils audio particuliers, aujourd'hui cela est possible avec un smartphone et une application. Le mieux dans tout ça, c'est qu'il ne faut même pas être connecté.

Que pensez-vous des fonctions de réalité augmentée sur le Mate 10 ? Est-ce que l'intelligence artificielle influencera votre prochain achat ?