Des experts expliquent l’ingénierie derrière l’UDC du Galaxy Z Fold4 – Samsung Global Newsroom

Les caméras selfie sont un élément essentiel de tout smartphone mais trouver l’emplacement idéal pour la caméra frontale peut souvent être un obstacle à une expérience visuelle fluide. Cependant, grâce à la Under Display Camera (UDC), les utilisateurs peuvent dire adieu à ce petit point noir devant leur écran. Samsung Electronics a présenté à UDC une mise à jour majeure sur le nouveau Galaxy Z Fold4, offrant aux utilisateurs une expérience plein écran encore plus immersive et transparente.

Comme la plupart des innovations majeures, la dernière UDC était un effort de groupe Basé sur les précieux commentaires des experts et des consommateurs de Samsung. Pour en savoir plus sur l’UDC amélioré pour le Galaxy Z Fold4, Samsung Newsroom s’est entretenu avec des experts de Samsung Research.1 collaborer sur la technologie.

Lisez la suite pour voir ce que John Seok-Jun Lee, responsable de la division Computing Camera chez Samsung Research America (SRA) et Alok Shukla, responsable des solutions de vision IA au Samsung R&D Institute, India-Bangalore (SRI-B) avaient à dire. à propos de leur collaboration derrière l’amélioration de la technologie UDC.

Q : Qu’est-ce que la caméra sous écran (UDC) ?

Seok-Jun : Under-Screen Camera (UDC) est une solution de caméra innovante qui offre une expérience de visualisation ininterrompue sur un appareil mobile en cachant la caméra sous l’écran et en dédiant tout l’écran aux utilisateurs lors de l’exécution d’applications. Cela nécessite non seulement une innovation matérielle en plaçant une caméra sous le panneau d’affichage, mais également une innovation algorithmique pour restaurer la qualité de l’image. est l’un des problèmes de restauration d’image les plus complexes.

Q : Comment fonctionne l’UDC ?

D’accord : Sur l’UDC, la caméra frontale se trouve sous l’écran. La densité de pixels de l’écran est réduite dans cette zone et permet un affichage sans obstruction des images à l’écran. mais en même temps, n’empêchez pas la lumière d’atteindre l’appareil photo lors de son utilisation. Étant donné que la caméra est placée sous l’écran, l’UDC peut souffrir d’une mauvaise qualité d’image causée par des artefacts de diffraction, entraînant des reflets, de la saturation, du flou et du brouillard. Par conséquent, bien que l’UDC apporte une meilleure expérience d’affichage, il affecte également la qualité de l’image de la caméra et d’autres tâches de vision en aval. Ces distorsions complexes et variées rendent la récupération des images UDC extrêmement difficile.

Q : Pourquoi UDC est-il une technologie importante en ce qui concerne le Galaxy Z Fold4 ? Quelle valeur apporte-t-il aux clients ?

Seok-Jun : Les appareils pliables de Samsung sont conçus pour être nouveaux et différents, combinant un smartphone et des expériences de visualisation immersives dans un seul appareil mobile grâce à une technologie d’affichage avancée. Lorsqu’il est plié, il offre une utilisation semblable à celle d’un smartphone, et lorsqu’il est déplié, l’écran offre une expérience plus efficace et productive. Notre étude auprès des consommateurs a montré que les utilisateurs de la série Galaxy Z Fold préfèrent la caméra Cover Screen pour prendre des photos et des selfies, et l’écran d’accueil immersif pour des tâches plus productives telles que regarder des vidéos, jouer à des jeux et travailler sur des documents. Par conséquent, nous avons pensé que la technologie UDC serait parfaitement adaptée pour répondre à leurs besoins d’affichage continu, tout en étant également capable d’effectuer des tâches telles que l’ouverture d’appels vidéo. Samsung a lancé la première solution UDC pliable dans le Galaxy Z Fold3 et a encore amélioré sa qualité dans le Galaxy Z Fold4.

D’accord : Galaxy Z Fold4 ouvre un monde d’affichage vraiment immersif. La technologie UDC est la base d’une véritable recherche d’affichage plein écran. Combinant une innovation de pointe dans la technologie d’affichage avec des techniques avancées d’IA pour la restauration d’image, le Galaxy Z Fold4 offre l’équilibre parfait entre la qualité d’affichage et la qualité d’image de l’appareil photo.

Q : Comment la qualité d’image de l’appareil photo s’est-elle améliorée depuis le Galaxy Z Fold3 ?

D’accord : Samsung Galaxy Z Fold3 a présenté le premier UDC pliable au monde. Après le lancement du Galaxy Z Fold3, l’un des principaux retours des consommateurs était de rendre l’UDC moins visible. La disposition des sous-pixels a été optimisée pour masquer davantage l’UDC sur le Galaxy Z Fold4.

Comme mentionné précédemment, lorsque la caméra est placée sous l’écran, cela peut entraîner une mauvaise qualité d’image causée par des artefacts de diffraction qui provoquent des reflets, de la saturation, du flou et du brouillard.

Par conséquent, dans le Galaxy Z Fold4, nous avons exploité la puissance de l’IA prise en charge par le traitement multi-images pour développer un nouveau pipeline d’imagerie informatique pour la restauration d’images UDC.

SRI-B, en collaboration avec le groupe Visual SW R&D de MX Business, se concentre sur le développement de la restauration d’images AI pour la photographie et la prévisualisation afin de compenser la diffraction optique dans UDC. Dans le même temps, le laboratoire Mobile Processor Innovation (MPI) de la SRA a amélioré l’algorithme de photographie computationnelle multi-images. L’UDC du Galaxy Z Fold4 résout les principaux défis techniques en matière de qualité d’image pour offrir une expérience unique aux clients finaux.

Q : Aidez-nous dans le cheminement du projet de partenariat SRA-SRI. Pourquoi vos deux équipes ont-elles collaboré ?

Seok-Jun : Le laboratoire SRA MPI a travaillé avec SRI-B tout au long de l’histoire de MPI chez Samsung, de la commercialisation de l’appareil photo Galaxy Note4 2014 aux Galaxy Z Fold4 et Z Flip4 2022. SRA dirige la recherche et le développement de la technologie de traitement multi-images (MFP) MX pour MPI UDC, le mode nuit, Expert RAW et d’autres technologies. SRI-B a contribué à tous les MFP SRA MPI commercialisés en fournissant un logiciel de caméra incroyable, des ressources pour le réglage et la commercialisation de la qualité d’image, ainsi que la R&D sur les caméras AI. Notre collaboration à trois avec le groupe MX R&D, SRA MPI et SRI-B a été couronnée de succès en particulier lorsqu’une équipe mondiale utilise efficacement les différences de fuseau horaire pour franchir les étapes à temps d’un projet aussi complexe. C’est toujours un plaisir de travailler avec eux pour atteindre notre objectif commun d’être la meilleure expérience d’appareil photo pour smartphone au monde et d’offrir ensemble le succès de l’appareil photo des appareils Galaxy.

Q : Veuillez décrire votre rôle et les contributions de votre équipe à l’UDC. Comment avez-vous contribué à créer la meilleure expérience utilisateur possible ?

D’accord : Le Samsung Galaxy Z Fold4 UDC était un projet de R&D complexe et le rôle de SRI-B était de penser de bout en bout pour la meilleure expérience consommateur. Cela nécessitait une expertise multi-domaines et une collaboration approfondie entre plusieurs équipes. Les experts du SRI-B, du laboratoire SRA-MPI et du groupe R&D MX Visual SW ont travaillé de manière transparente pour mener à bien l’expérience UDC.

SRI-B a également joué un rôle clé dans l’utilisation d’une unité de traitement neuronal (NPU) pour exécuter le modèle AI, obtenant des performances en temps réel dans les aperçus et des temps de traitement des prises de vue nettement plus rapides que le Samsung Galaxy Z Fold3 UDC. Les aperçus de caméra, les enregistrements vidéo et les scénarios d’appel vidéo nécessitent des performances en temps réel sans aucune perte d’image. Pour la prévisualisation, la récupération UDC basée sur l’IA accélérée par NPU a été mise en œuvre pour la première fois sur le Samsung Galaxy Z Fold4. Bien que le traitement en temps réel ne soit pas nécessaire, étant donné que la capture de caméra nécessite une qualité d’image supérieure à la prévisualisation, il était souhaitable d’obtenir une meilleure qualité d’image avec moins de temps de traitement pour l’expérience utilisateur.

Q : À quels défis avez-vous dû faire face pour développer cette technologie et comment les avez-vous surmontés ?

Seok-Jun : La faible transmission de la lumière et la diffraction de la lumière sont des défis majeurs pour la technologie des caméras UDC. Encore une fois, un autre problème qui diffère d’un pipeline d’images de caméra à sténopé est que la qualité de la capture UDC est affectée non seulement par le module de caméra, mais également par le panneau d’affichage. L’algorithme ISP 3D basé sur l’IA de SRA MPI est conçu avec la flexibilité nécessaire pour ajuster la qualité de l’image de sortie avec différentes caractéristiques d’affichage. Le fait d’avoir une telle flexibilité chez 3D ISP a aidé à surmonter de tels défis.

D’accord : L’objectif principal de SRI-B était le développement d’un module de restauration d’image AI pour le Samsung Galaxy Z Fold4 UDC. Ces récupérations sont nécessaires pour le mode capture photo ainsi que le mode vidéo. Les scénarios d’enregistrement vidéo et d’appel vidéo ont des exigences strictes pour le traitement en temps réel dans les limites de consommation actuelles.

La récupération UDC basée sur l’IA a d’abord été implémentée sur le Samsung Galaxy Z Fold4 UDC pour la vidéo. Pour obtenir une meilleure expérience de qualité vidéo que le Galaxy Z Fold3, nous avons dû alléger le modèle AI tout en obtenant une bonne qualité de récupération. De nombreuses expériences ont été menées dans la conception et la formation de réseaux pour obtenir de bonnes performances en temps réel. SRI-B a largement utilisé la NPU et des techniques de quantification avancées pour développer un modèle d’IA plus léger et hautement optimisé qui atteint des performances en temps réel avec une faible consommation de courant.

Q : Quelle est votre vision des futures itérations UDC chez Samsung ?

D’accord : L’UDC de Samsung Galaxy Z Fold4 a ouvert une nouvelle dimension au facteur de forme de l’appareil photo du smartphone. À l’avenir, les UDC permettront des capteurs de caméra plus grands et plusieurs caméras dans des positions flexibles sans compromettre l’expérience visuelle. Un autre grand défi est l’adoption massive de la technologie UDC dans plus de produits comme la caméra frontale principale. Pour que cela se produise, des améliorations significatives de la qualité d’image de la caméra, du temps de traitement et de l’expérience de l’écran doivent être apportées.

Seok-Jun : Comme le Galaxy Z Fold4 UDC offre une meilleure expérience en termes de dissimulation de l’appareil photo sous l’écran et d’amélioration de la qualité de l’image, la direction R&D des prochains appareils phares tentera de rendre l’UDC complètement invisible. Cela fournira la meilleure expérience d’affichage mobile immersive transparente, obtenant la même qualité d’image qu’une caméra à sténopé.

1 Agissant en tant que centre de R&D phare de Samsung Electronics, Samsung Research dirige le développement de technologies futures pour la division Device eTecperience (DX) de l’entreprise.

Leave a Reply

Your email address will not be published. Required fields are marked *