Le «Frankenphone» de Google a aidé à recueillir des données de formation pour le mode portrait sur le Pixel 3

Le «Frankenphone» de Google a aidé à recueillir des données de formation pour le mode portrait sur le Pixel 3

[ad_1]

Google mène la charge de la photographie informatique dans les smartphones depuis le premier Pixel, lorsqu’il a présenté sa technologie HDR +. Depuis lors, le géant de la recherche n’a pas regardé en arrière et avec l’introduction de la série Pixel 3, il est évident qu’il a des kilomètres d’avance sur la concurrence en ce qui concerne les logiciels de caméra. Les Pixel 3 et Pixel 3 XL sont les smartphones Android phares de Google et disposent de certains des meilleurs appareils photo du secteur, en grande partie grâce à de nouveaux développements de son algorithme en mode Portrait et de nouvelles fonctionnalités comme Night Sight et Super Res Zoom.

Plus tôt cette semaine, Gadgets 360 a eu accès à une table ronde avec Marc Levoy, un ingénieur distingué du laboratoire de recherche de Google, où il a expliqué en détail comment ces nouvelles technologies ont été développées pour les nouveaux smartphones.

Dans la série Pixel 3 (Review), Google a repensé le mode Portrait, car il s’éloigne des cartes de profondeur stéréo pour une technique basée sur l’apprentissage qui utilise l’apprentissage automatique pour fournir une détection des bords plus précise et un flou d’arrière-plan plus réaliste. Google a également publié un article de blog qui détaille cela, mais voici un bref résumé de son fonctionnement et de ce qui a changé par rapport au mode Portrait sur le Pixel 2 (Review).

Google Night Sight est là pour changer la photographie en basse lumière

Le Pixel 3 a toujours une configuration d’appareil photo unique, comme avant, et continue d’utiliser les deux pixels du capteur pour estimer une carte de profondeur stéréo de la plupart des objets afin de pouvoir séparer le sujet de l’arrière-plan, ce qui vous donne ce bokeh ou cette profondeur effet. Cependant, cette fois, Google utilise également l’apprentissage automatique pour une segmentation plus précise des personnes de l’arrière-plan, pour la caméra arrière. «C’est un réseau neuronal informatique qui estime la probabilité d’une personne à chaque pixel de l’image», explique Levoy. La caméra selfie s’appuie également sur cette nouvelle technique d’apprentissage, car elle ne dispose pas du système de mise au point automatique à deux pixels.

Une combinaison de ce réseau neuronal basé sur l’apprentissage et du double pixel permet au nouvel algorithme de fournir un flou plus réaliste. Cela signifie que le flou sur les objets derrière le sujet humain varie en fonction de leur distance par rapport au sujet. Levoy déclare en outre que même si le résultat final peut sembler agréable, ce n’est pas une représentation précise de ce qu’un DSLR avec un objectif à grande ouverture peut capturer. L’algorithme maintient délibérément une «zone de profondeur» autour de la personne, juste pour que des choses comme les mains, les cheveux ou d’autres éléments de la personne soient également bien nets, ce qui «facilite la prise de photos pour les novices».

Formation Google Pixel 3 google

Le «Frankenphone» (à gauche) utilisé pour capturer plusieurs perspectives et la carte de profondeur générée (à droite) Crédit d’image: Google

Le problème avec un réseau de neurones, c’est que même s’il est très efficace une fois qu’il est opérationnel, il doit être formé, ce qui signifie d’abord l’alimenter avec des centaines de milliers d’ensembles de données. Pour y parvenir, Google a construit une plate-forme spécialisée ou un «Frankenphone» comme il l’appelle, composé de cinq téléphones Pixel 3 qui ont capturé individuellement la même photo mais avec des perspectives légèrement différentes. Cela a permis à Google de capturer des cartes de profondeur de haute qualité pour des photos très prises, qui ont été utilisées pour former le réseau neuronal.

Certaines des autres fonctionnalités remarquables des téléphones Pixel 3 sont Night Sight et Super Res Zoom. Night Sight utilise la technique d’exposition multi-images, qui est la base du HDR +, pour vous donner des photos de nuit plus propres et plus lumineuses. Nous avons examiné cette fonctionnalité en détail et avons également testé son fonctionnement sur les trois générations de smartphones Pixel, que vous pouvez lire ici. Super Res Zoom est une fonctionnalité exclusive aux Pixel 3 et Pixel 3 XL (Review), qui améliore la qualité des images zoomées numériquement. Nous avons largement couvert cela dans notre examen complet des deux téléphones et même dans notre comparaison d’appareils photo par rapport au Samsung Galaxy Note 9 (avis) et à l’iPhone XS d’Apple.

[ad_2]

Source link

Laisser un commentaire