Contenido
- Cómo funcionan las redes neuronales
- Redes neuronales dentro de su teléfono inteligente
- La IA podría dar forma al futuro de la fotografía
Además de la fotografía de computación, el hardware de la cámara de alta calidad y los procesadores de señal de imagen, la fotografía móvil de vanguardia está cada vez más impulsada por algoritmos de aprendizaje automático, también conocidos como inteligencia artificial (IA). Esta técnica de fotografía promete mejorar la calidad en el impulso hacia una calidad similar a la DSLR al tiempo que ofrece nuevas formas creativas de tomar y editar imágenes y videos.
La clave para el aprendizaje automático es el uso de redes neuronales. Este es un tipo de algoritmo que a menudo se compara con el cerebro humano. Esta comparación se extrae de la capacidad de una red neuronal para capacitarse, mediante el uso de datos, para reconocer patrones, lo que le permite hacer clasificaciones altamente precisas para tipos de datos complejos como audio e imágenes.
Cuando se trata de fotografía, la capacidad de observar, aprender, generar y clasificar tiene una amplia gama de aplicaciones. Estas aplicaciones pueden incluir características tales como construir sobre técnicas de fotografía computacional para mejorar los algoritmos de posprocesamiento, software bokeh en tiempo real con video 4K, o incluso cambiar completamente los colores de la ropa que llevas puesta.
Cómo funcionan las redes neuronales
Las redes neuronales son un tema muy complejo, por lo que solo vamos a cubrir los conceptos básicos aquí. Para una lectura más avanzada, consulte las guías aquí y aquí.
Las redes neuronales están formadas por nodos, que es un significante de dónde se realizan algunos cálculos. Cada nodo combina una entrada con un peso que amplifica o atenúa la importancia de ese nodo en particular. Varios nodos a menudo trabajan en paralelo, creando una capa de nodos que realiza una tarea más grande. Esto podría ser la detección de características dentro de una imagen, por ejemplo. Se pueden sumar varios nodos y capas y pasarlos a otros nodos y capas, formando una red más profunda con capacidades más potentes.
La salida de cada nodo y capa se escala como una función de probabilidad. Al observar muchas características y atributos diferentes, una red neuronal puede calificar la entrada como una coincidencia de probabilidad con respecto a todas las salidas potenciales esperadas. Así es como los algoritmos de detección de imágenes deciden si una imagen se parece más a un gato o una naranja, pero primero debes decirle qué buscar.
Las redes neuronales no están programadas como los algoritmos informáticos tradicionales. En cambio, están capacitados en conjuntos de datos, como imágenes, archivos de sonido, etc. Los pesos de cada nodo se ajustan gradualmente a lo largo del tiempo a través de un ciclo de retroalimentación, en función de qué tan bien hizo la red al hacer coincidir las entradas con las salidas correctas. Este "aprendizaje" gradual de las reglas requiere una preparación considerable, tiempo y potencia informática, pero produce resultados fenomenalmente precisos.
Redes neuronales dentro de su teléfono inteligente
Las redes neuronales pueden ejecutarse en una variedad de componentes de hardware, incluidas las partes de CPU y GPU comunes dentro de una gama de dispositivos informáticos, incluido su teléfono inteligente. Sin embargo, algunas redes neuronales pueden requerir más potencia de procesamiento que la que pueden proporcionar estos componentes de hardware, y el hardware dedicado puede proporcionar el procesamiento óptimo necesario.
Dentro de la plataforma móvil Qualcomm® Snapdragon ™ 855, por ejemplo, encontrará el último procesador de señal digital (DSP) Qualcomm® Hexagon ™ 690, que cuenta con unidades mejoradas de procesamiento de vectores y un nuevo acelerador de tensor específicamente para tareas de aprendizaje automático. Otras plataformas móviles Snapdragon también cuentan con el componente DSP Hexagon, con diferentes capacidades. Dicho esto, las redes neuronales no se limitan solo a ejecutarse en el DSP en Snapdragon y otras plataformas móviles. El tipo de procesador utilizado depende de la carga de trabajo.
Mejoras de aprendizaje automático Qualcomm Snapdragon 855 en comparación con la generación anterior
Qualcomm Technologies abre sus capacidades de DSP y aprendizaje automático a desarrolladores externos a través de su SDK de procesamiento neuronal de Qualcomm®. Esto permite que las aplicaciones ejecuten redes neuronales en cualquiera de los núcleos de hardware dentro de una plataforma móvil Snapdragon. Por ejemplo, los teléfonos inteligentes Google Pixel aprovechan el Hexagon DSP y su propio Visual Core para acelerar su impresionante función de fotografía HDR +. Qualcomm Technologies trabaja con proveedores de software como Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho y más, y admite funciones que van desde el bokeh de video hasta la creación de avatar utilizando el aprendizaje automático que se ejecuta en el DSP.
La IA podría dar forma al futuro de la fotografía
Ahora que sabemos cómo funcionan las redes neuronales, la pregunta importante es ¿qué podría hacer por nosotros y nuestras fotografías?
Las redes neuronales se utilizan para mejorar una variedad de algoritmos de fotografía comunes. El ruido, por ejemplo, podría mejorarse con entrenamiento para ofrecer una limpieza de imagen superior adaptada a la cámara específica o tipo de toma. Del mismo modo, para poca luz, una red neuronal podría detectar partes brillantes y oscuras de la imagen, permitiendo mejoras de luz y color en partes específicas de la escena.
Los casos de uso más avanzados son cada vez más comunes en la fotografía de teléfonos inteligentes. Los zooms de súper resolución utilizan redes neuronales para combinar múltiples imágenes en una sola toma de alta resolución para un zoom digital de aspecto superior. Las redes neuronales también se pueden entrenar para unir con precisión múltiples exposiciones de fotos juntas para HDR mejorado y tomas nocturnas.
La fotografía AI podría incluir zoom de súper resolución, bokeh en tiempo real y calidad de imagen mejorada.
El video también podría beneficiarse de la adopción de esta tecnología. La detección de objetos en tiempo real está diseñada para permitir que las aplicaciones introduzcan efectos bokeh de software directamente en el video mientras graba. Técnicas similares también admiten el intercambio y eliminación de objetos en tiempo real. Esto incluye cambiar el fondo en un video, cambiar o eliminar colores e incluso reemplazar prendas de vestir o superponer avatares digitales directamente en su video.
El poder de las redes neuronales y la fotografía de IA abarca desde mejoras de calidad para ayudar a cerrar la brecha en DSLR hasta poderosas herramientas de creatividad que ayudan a hacer que la producción de contenido único sea muy fácil. De cualquier manera, es una tecnología poderosa que es fundamental para futuras mejoras en la fotografía móvil.
Próximo: ¡Sorteo internacional de Google Pixel 3 XL!
Contenido patrocinado por Qualcomm Technologies, Inc.
Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine y Qualcomm Kryo son productos de Qualcomm Technologies, Inc. y / o sus filiales.
