Olvídese de más megapíxeles, la cámara de su próximo teléfono podría ofrecer dientes más blancos

Qualcomm y MediaTek han anunciado su nueva generación de procesadores emblemáticos en los últimos meses, que impulsarán los teléfonos inteligentes de gama alta de 2023. De hecho, ya hemos visto aparecer teléfonos con estos chipsets, como el OnePlus 11, la serie Xiaomi 13 y la serie Vivo X90.

Los procesadores traen más potencia, trazado de rayos basado en hardware y conectividad satelital, pero definitivamente parece más un año evolutivo en términos de capacidades de cámara clásicas. Tanto los chips de gama alta de Mediatek como los de Qualcomm no están experimentando cambios importantes en términos de resoluciones de fotos y videos o velocidades de cuadro.

Pero el soporte de la cámara es más que solo resolución y, de hecho, las dos compañías están implementando bastantes cambios de imagen bajo el capó, como tecnología de captura de video profesional, optimizaciones para sensores de 200MP y soporte nativo de cámara RGBW. Sin embargo, también vemos una tendencia a unificar la IA y el hardware de imágenes, y esto habilitará al menos una función bastante interesante en 2023.

Qualcomm promociona la segmentación semántica en tiempo real en Snapdragon 8 Gen 2. Para los no iniciados, la segmentación semántica se refiere a la capacidad de identificar objetos y sujetos específicos dentro de un marco. Es una tecnología central que es fundamental para muchos modos de cámara porque el software de la cámara puede identificar escenas o personas específicas y luego aplicar el procesamiento de imágenes.

Muchas marcas de teléfonos inteligentes usan la segmentación semántica para los modos de retrato de una sola cámara, mientras que otros la usan para el reconocimiento de escenas de IA (puestas de sol, paisajes, flores, comida). Incluso hemos visto algunas marcas como Xiaomi y Google promocionar la capacidad de cambiar completamente el cielo, reemplazando un cielo gris en su foto con un cielo completamente azul.

Lee mas: La IA ayudará a que las fotos del teléfono superen a las DSLR, dice Qualcomm

Sin embargo, Qualcomm está profundizando aún más. Primero, la compañía confirma que su última versión de la solución es lo suficientemente rápida como para ejecutarse en tiempo real y para videos. También dice que su solución es capaz de identificar elementos específicos como dientes, cabello, vello facial, labios, polvo y más. Y esto podría abrir la puerta a algunas posibilidades interesantes.

La más obvia es que veremos instantáneas más precisas en modo retrato. La demostración en video de Qualcomm, junto con ArcSoft, demuestra la capacidad de desenfocar con mayor precisión fondos desafiantes (ver a continuación) mientras mantiene nítidos los sujetos más complicados.

Sin embargo, una posibilidad intrigante es que los teléfonos Snapdragon 8 Gen 2 puedan ofrecer efectos de embellecimiento más detallados y avanzados. De hecho, Judd Heape, vicepresidente de gestión de productos para cámaras de Qualcomm, me dijo autoridad androide que la tecnología está inicialmente dirigida a las cámaras selfie.

Ya hemos visto cámaras para selfies que eliminan imperfecciones, suavizan la piel y ofrecen ajustes de forma como opciones de embellecimiento, pero esto es solo la punta del iceberg con la segmentación semántica en tiempo real.

También es teóricamente posible que podamos ver efectos de embellecimiento locos como el blanqueamiento dental. Después de todo, esta última tecnología sí ofrece reconocimiento de dientes. Heape está de acuerdo con esta sugerencia y explica que los socios pueden crear sus propias redes de segmentación semántica basadas en esta tecnología para detectar otras cosas.

Entonces, sí, si tiene una red que es realmente buena para detectar dientes, eso puede pasarse al ISP. [image signal processor – ed], y el ISP puede desaturar los colores de los dientes y cambiarlos de amarillo a blanco. Absolutamente, eso es definitivamente una posibilidad.

Qualcomm también promociona su capacidad para reconocer el cabello, diciendo que esto podría usarse para proporcionar un cabello más detallado. Pero también parece teóricamente posible que las marcas eliminen las canas o la capacidad de cambiar completamente el color de tu cabello. Heape sugiere que eliminar las canas puede ser un desafío difícil, especialmente si son solo algunas canas en un mar de cabello oscuro. Pero todavía piensa que un cambio completo de color de cabello es una posibilidad, aunque puede que no parezca realista.

Sin embargo, los fabricantes tendrán que caminar por una línea muy fina entre proporcionar características de embellecimiento que la gente quiere y promover estándares de belleza retorcidos. Después de todo, hemos visto muchos efectos y filtros cuestionables a lo largo de los años, como el adelgazamiento del rostro, la forma de la nariz, el aclarado de la piel y la dilatación de los ojos.

Sin embargo, la segmentación de imágenes semántica más avanzada no se limita al embellecimiento. La tecnología también puede permitir un mejor procesamiento de la ropa, como muestra el video de Qualcomm, brindando un afilado adicional para su camiseta o chaqueta sin afectar el resto de su cuerpo. El clip incluso muestra la capacidad de eliminar el deslumbramiento de las gafas.

Qualcomm también confirmó que la segmentación semántica en tiempo real también es programable. Por lo tanto, las empresas pueden usar diferentes redes neuronales si tienen en mente otros usos para la tecnología.

Está muy bien que los fabricantes de chips admitan algo como la segmentación semántica en tiempo real, pero la verdadera pregunta es si los teléfonos inteligentes realmente se enviarán con esta tecnología. Después de todo, las marcas de teléfonos inteligentes tienen un historial mixto cuando se trata de usar las funciones de la cámara de un fabricante de chips (cámara lenta ilimitada de 960 fps, modo de ráfaga de 12 MP de 120 fps, por ejemplo).

Afortunadamente, Heape confirmó que esta función estaba disponible «desde el primer momento» para todas las marcas de teléfonos inteligentes. «Así que no hay tarifas de licencia, no hay nada más que el OEM tenga que hacer», explicó.

Entonces, cuando salgamos en 2023 (sic), habrá varios teléfonos con esta función, uno bastante destacado.

En otras palabras, esta no será solo una característica teórica, sino que llegará a los dispositivos comerciales en 2023. Así que esté atento a futuros lanzamientos de Samsung, Xiaomi, Oppo y otras marcas para ver si la segmentación semántica en tiempo real aparece allí.

Las mejoras en la segmentación semántica de Qualcomm son posibles gracias a la función Hexagon Direct Link de la empresa. Esto se refiere a que Qualcomm crea efectivamente un vínculo entre el silicio AI y el ISP responsable del procesamiento de la cámara. Mediatek está tomando una ruta similar con el chipset Dimensity 9200, diciendo que fusiona hardware de IA e ISP para lograr 8K/30fps y 4K/60fps más eficientes con estabilización electrónica. Mientras tanto, los chips Tensor semipersonalizados de Google en los teléfonos Pixel también usan silicio AI que está estrechamente relacionado con la canalización de imágenes.

Este enfoque unificado de AI/ISP de Qualcomm y Mediatek en particular significa que los datos de la cámara pueden pasar por alto la memoria RAM relativamente lenta, lo que permite un procesamiento de la cámara en tiempo real. El procesamiento rápido no significa simplemente menos tiempo dedicado a mirar una «pantalla de procesamiento» antes de obtener una vista previa de una foto, sino que podría brindarnos vistas previas en vivo del visor de diferentes modos, nuevos modos de fotos y nuevas funciones de video.

Qualcomm y/o Mediatek ya prometen funciones de cámara avanzadas en sus últimos SoC, como mejor video bokeh, súper resolución de video, desenfoque de fotos y mejor rendimiento con poca luz. Pero no es difícil imaginar características futuras como filtros AR más detallados y potentes, funcionalidad Magic Eraser para videos, modo de ráfaga con HDR para cada toma o procesamiento de múltiples cuadros para tomas de 50MP o 108MP con resolución completa.

Incluso probamos por primera vez lo que es posible cuando las cámaras omiten la RAM tradicional con el Sony Xperia XZ Premium 2017. Este teléfono presentaba un sensor de cámara con su propia DRAM dedicada, lo que permitía videos nativos en cámara súper lenta de 960 fps por primera vez. Así que tenemos curiosidad por ver qué más es posible con una canalización de procesamiento de cámara mucho más rápida.

Afortunadamente, este enfoque unificado de la IA y el hardware ISP no será exclusivo de los dispositivos emblemáticos, ya que Heape confirmó que podemos esperar que la función finalmente llegue a los conjuntos de chips de rango medio en algún momento.

Es interesante ver que tanto Qualcomm como Mediatek llegan a la misma conclusión sobre la unificación de la IA y el hardware de imágenes. Y no hay duda de que esto podría ser la base para futuros desarrollos de cámaras para teléfonos inteligentes. Entonces, si bien no parece que haya muchas funciones de cámara destacadas en los conjuntos de chips de gama alta de hoy en día, estos chips aún brindan mejoras significativas.

Al decir esto, estamos especialmente intrigados por este último paso en la segmentación de imágenes. Además de modos de retrato más precisos, procesamiento de imágenes más detallado y embellecimiento mejorado, la segmentación semántica en tiempo real ya permite algunas funciones interesantes. Pero tenemos curiosidad por ver qué más se les ocurrirá a los OEM gracias a este modo y un enfoque más unificado para la IA y el hardware de imágenes.