¿Por qué una cámara es suficiente para algunas cámaras, mientras que dos cámaras son suficientes para otras?

Los teléfonos inteligentes de alta gama tienen cada vez menos aspectos destacados y Lei Tutu ya no puede mostrar las ventajas de los teléfonos móviles. Entonces apareció una cámara dual más dominante. Las cámaras duales mencionadas aquí no son como los teléfonos inteligentes anteriores, con una cámara frontal y una cámara trasera, sino un par de ojos con dos cámaras traseras para simular ojos humanos, logrando así más funciones de cámara y más buenos efectos fotográficos.

En términos generales, la interfaz de cámara actual de los smartphones es la interfaz MIPI (Mobile Industrial Processor Interface). En el pasado, sólo había dos interfaces MIPI en las plataformas de teléfonos móviles, una para la cámara frontal y otra para la cámara trasera. Para convertirse en una cámara dual, la plataforma debe admitir al menos tres interfaces MIPI. De hecho, en plataformas de gama alta anteriores, para lograr píxeles más altos, los ISP duales (¿Imagen? ¿Señal? Procesamiento, Procesador de señal de imagen), por ejemplo, para admitir cámaras de 16 M, utilizarían dos ISP con capacidades de 8 M. Es posible que este tipo de plataforma solo tenga 2 MIPI, pero esto no impide que los ingenieros hagan una sola cámara frontal + dos cámaras traseras.

Aplicación de cámara dual

Ese es el problema. ¿Qué pueden hacer las cámaras duales?

1. Las cámaras duales pueden medir distancias y pueden usarse para aplicaciones relacionadas con la distancia.

El ojo humano puede localizar fácilmente la distancia de un objeto, pero cuando una persona cierra uno de sus ojos, la capacidad de posicionamiento baja mucho. Cámara dual es una aplicación que simula el ojo humano. En pocas palabras, medir la distancia consiste en calcular los ángulos θ1 y θ2 entre el sujeto y la cámara izquierda/derecha a través de un algoritmo, y agregar un valor Y fijo (es decir, la distancia central de las dos cámaras), por lo que es muy fácil calcular el valor Z (es decir, la distancia entre el objeto y la cámara).

Sin embargo, esto es fácil de calcular. Si la distancia central entre las dos cámaras es demasiado pequeña, la distancia calculada al objeto será muy cercana. Si desea calcular distancias más largas, debe ampliar la distancia entre las cámaras izquierda y derecha.

Como se muestra en la imagen de arriba, debido a que la distancia de un objeto se puede juzgar a través del algoritmo de la cámara dual, es fácil crear algunos efectos especiales a través de esta función, como:

Fondo borroso

Una de las características más destacadas de las cámaras SLR es su gran apertura. Dado que las cámaras duales pueden medir la distancia de diferentes objetos, apuntar a objetos que requieren una gran apertura y desenfocar otros objetos a diferentes distancias, el efecto de una gran apertura se puede lograr fácilmente.

)

b. Reemplazo de fondo

Debido a que puedes medir la distancia, extraer el sujeto en el sujeto y cambiar el fondo, es más simple que PS. para recortar la imagen.

c. Efectos especiales de fondo

Debido a que la distancia se puede medir y el sujeto y el fondo se pueden separar, es fácil hacer cualquier cosa con el fondo. demasiada descripción aquí.

d. Medición de distancia

Esta imagen identifica claramente la distancia de diferentes objetos. Esta información de distancia está marcada con diferentes colores. Cuando el AP obtiene la información de distancia de diferentes objetos, puede realizar las funciones anteriores.

2. Las cámaras duales pueden hacer zoom óptico.

El zoom óptico significa principalmente que las cámaras izquierda y derecha utilizan diferentes FOV (ángulos de visión), de modo que las dos cámaras tienen diferentes campos de visión. Cuando los usuarios necesitan una fotografía de gran angular, utilizan la cámara izquierda con un ángulo de visión de 85 grados para obtener el efecto de gran angular. Cuando los usuarios necesiten fotografías con teleobjetivo, utilice una cámara adecuada con un ángulo de visión de 45 grados para obtener el efecto teleobjetivo.

Para que los objetos capturados por las cámaras izquierda y derecha se superpongan mucho, el módulo de cámara dual con zoom óptico no puede estar demasiado lejos del módulo de cámara aplicado, pero las cámaras izquierda y derecha deben estar colocado lo más cerca posible.

Si los FOV de las dos cámaras son diferentes, una es más grande y la otra es más pequeña, y luego el efecto entre las dos lentes ópticas se realiza a través del algoritmo, el zoom óptico se puede lograr fácilmente.

Si no utilizas cámaras duales, el texto no quedará claro después de ampliar la imagen.

Si utilizas cámaras duales, el texto seguirá siendo claro después de ampliar la imagen.

Esta imagen es una combinación de una imagen de gran angular y una imagen de teleobjetivo. La foto de pose media se calcula mediante un algoritmo para que los detalles no se distorsionen.

3. Mejora del efecto de luz oscura

En términos generales, la mejora de la luz oscura se realiza en dos cámaras: una cámara estándar con RGBG y una cámara en blanco y negro sin el filtro RGBG. RGBG se utiliza para obtener el color del objeto, mientras que la cámara en blanco y negro se utiliza para obtener una mejor cantidad de luz para determinar la intensidad de la luz del objeto que se está fotografiando. Luego, las dos imágenes se fusionan para mejorarlas en condiciones de poca luz.

Actualmente, existen dos métodos de fusión:

Utilice la imagen en blanco y negro como cuerpo principal, pegue el color de cada píxel obtenido de la imagen en color en la imagen en blanco y negro. y fusionar las dos imágenes.

Utilice la imagen en color como cuerpo principal, compense la intensidad de la luz de cada imagen obtenida de la imagen en blanco y negro con la imagen en color y fusione las dos imágenes.

En cuanto a qué método es más adecuado para la integración, diferentes personas pueden tener opiniones diferentes, por lo que no lo discutiremos aquí.

De manera similar, para mejorar la luz oscura, para que los objetos capturados por las cámaras izquierda y derecha se superpongan mucho, también se requiere que el módulo de cámara dual esté lo más cerca posible.

Cabe señalar que Huawei P9 efectivamente elige este modo de módulo.

Por supuesto, algunas personas en la industria dijeron que el efecto actual de este algoritmo no es obvio. La compensación de poca luz puede ayudar mucho a los usuarios, especialmente cuando se dispara de noche. Sin embargo, algunos clientes piensan que la tecnología PD dual de Sony y Samsung es muy buena y están más dispuestos a utilizar cámaras PD duales para compensar la poca luz.

¿Cuál es mejor para cámaras duales o compensación de luz oscura dual PD? Puedes comparar el Huawei P9 y el Samsung Galaxy S7 edge para obtener la respuesta.

Para ello se suele utilizar una cámara color + blanco y negro. La intensidad del brillo de la imagen la obtiene una cámara en blanco y negro para compensar la luz oscura de la imagen.

Disparo 4.3D y modelado 3D

Los algoritmos para el disparo y el modelado 3D son en realidad similares a las aplicaciones a distancia, pero los requisitos de precisión son mayores y, a veces, se requiere alcance infrarrojo. distancia con mayor precisión.

Cuando se trata de algoritmos de cámara dual, tenemos que mencionar ISP (¿Imagen? ¿Señal? Procesamiento de señal de imagen). La función principal de ISP es posprocesar la señal de salida de la imagen frontal. Las funciones principales del sensor son: Corrección lineal, eliminación de ruido, eliminación de píxeles defectuosos, interpolación, balance de blancos, control automático de exposición, etc. Sólo confiando en el ISP se pueden restaurar bien los detalles de la escena en diferentes condiciones ópticas, y la tecnología ISP determina en gran medida la calidad de imagen de los teléfonos móviles.

En la era de las computadoras funcionales, los ISP se basaban en cámaras, y las cámaras con diferentes píxeles se combinaban con ISP de diferente rendimiento. A medida que los píxeles de las cámaras de los teléfonos móviles se hacen cada vez más grandes, los requisitos de rendimiento del ISP también son cada vez mayores. Si el ISP está integrado en el sensor de la cámara, el módulo de la cámara será demasiado grande e incluso afectará el efecto de la fotografía. Por lo tanto, en la era de los teléfonos inteligentes, el ISP generalmente se encuentra en el chip SoC principal. Para lograr mejores resultados, algunos clientes de marcas incluso agregan un ISP a cualquier costo para lograr efectos fotográficos mejores y más profesionales.

Un buen algoritmo de cámara requiere un buen ISP. El ISP y el algoritmo se complementan y son indispensables. La cámara dual tiene requisitos más altos en cuanto al rendimiento del ISP. En primer lugar, para procesar las señales de las cámaras izquierda y derecha al mismo tiempo, un solo ISP ya no puede satisfacer las necesidades de las cámaras duales. Esto requiere dos ISP para implementar esta función.

Tome la mejora de la luz oscura como ejemplo. Las imágenes en color/blanco y negro ingresan a sus respectivos canales ISP y canales de calibración, y luego las dos imágenes coinciden (por ejemplo, las mismas partes de las dos imágenes). se extraen y solo se retira una cámara) (parte fotografiada), y luego realiza el procesamiento de algoritmos, como oclusión, detección y compensación en las imágenes relevantes. Finalmente, combine las dos imágenes para realzar los colores. Por supuesto, los ISP en realidad hacen más con los algoritmos de lo que muestra esta imagen.

Por supuesto que aquí hay un episodio. Después de todo, hay dos ISP y los dos ISP tienen algunos problemas con diferentes velocidades y capacidades de procesamiento. Para garantizar que dos ISP puedan tomar muestras al mismo tiempo, las imágenes capturadas por las cámaras duales deben capturarse al mismo tiempo. Una solución es tener un pin de señal de sincronización para el sensor. Las señales de sincronización de las dos cámaras están conectadas. Cada vez que se lee una imagen, se marcará la hora. El ISP utiliza marcas de tiempo para garantizar que las fotografías tomadas por las cámaras izquierda y derecha se tomen al mismo tiempo y finalmente se fusionen.

Es diferente de la grabación normal de películas en 3D. Las dos cámaras de un teléfono no pueden producir suficiente diferencia visual durante la captura de imágenes porque la distancia entre las dos cámaras es diferente a la distancia del ojo humano. Y para brindar a las personas efectos visuales 3D más obvios. Por eso, la mejora a menudo requiere algoritmos.

Debido a que se puede medir la distancia, las cámaras duales posteriores no solo pueden realizar fotografías en 3D, sino también realizar modelados en 3D. En este momento, creo que la importancia de las cámaras duales es aún más importante.

También se han potenciado otros efectos, como el HDR y mejoras de resolución. En realidad, estas funciones se pueden lograr con una sola cámara, pero las cámaras duales pueden proporcionar mejores resultados, por lo que no las enumeraré una por una.

Resumen:

En la actualidad, estas funciones son las más comunes de los teléfonos móviles con doble cámara. El desenfoque/reemplazo del fondo y los efectos de luz oscura brindan más efectos fotográficos a los usuarios; el zoom óptico nos permite sentir la función de zoom de la cámara, pero personalmente, creo que lo más emocionante en el futuro es la función 3D;

La realidad virtual es tan popular este año, ¿de dónde viene el material de realidad virtual? Todavía depende de la optimización del algoritmo de doble cámara. Si los algoritmos para la fotografía y el modelado 3D maduran, las cámaras duales se volverán más populares.

Cadena ecológica de doble cámara

Antes hablamos de la aplicación y principio de las cámaras duales. Ahora centrémonos en la cadena industrial de cámaras duales.

1. Proveedor de algoritmos de cámara dual

Debido a que el algoritmo necesita cooperar con el ISP, el algoritmo y el ISP son complementarios entre sí. Si quieres hacer un buen trabajo en el algoritmo, debes tener un buen ISP.

Como principales proveedores de plataformas, Qualcomm/MediaTek cuentan con su propio ISP, por lo que también han desarrollado su propio algoritmo de doble cámara. En cuanto a su algoritmo, aún no ha sido probado por el mercado.

Como proveedores de sensores, Sony, Samsung y OV también están desarrollando activamente algoritmos de doble cámara y aún no han visto productos de producción en masa. Sin embargo, en la era de los teléfonos básicos, no existía el ISP. Estos proveedores de sensores de cámara tienen que coincidir con su propio ISP al fabricar 2M/5M, por lo que todos tienen experiencia en el desarrollo de su propio ISP. Por lo tanto, el desarrollo de algoritmos de doble cámara tiene relativamente experiencia.

Apple adquirió Linx el año pasado y también tiene patentes y algoritmos multicámara.

Que se utilice en sus propios modelos de doble cámara depende del iPhone 7 de este año. En teoría, Linx tiene suficientes algoritmos y Apple no acudirá a los grandes fabricantes para comprar licencias de IP para cámaras duales.

Además de estas plataformas, los proveedores de sensores y las marcas de smartphones desarrollarán sus propios algoritmos de doble cámara, enumeraremos uno por uno otros proveedores:

Huajing, fundada en Taiwán en 1996 Provincia, desarrolla principalmente chips ISP independientes. Algunos teléfonos móviles, cámaras y automóviles de alta gama utilizan sus shells de ISP. El teléfono con doble cámara también tiene su propio ISP. La aplicación de distancia, el zoom óptico y la compensación en condiciones de poca luz han logrado grandes logros.

Una empresa israelí. Las ventajas del algoritmo residen principalmente en el zoom óptico y la compensación de la luz oscura. En el campo de la profundidad, también existen algunos estudios. A juzgar por la publicidad en los medios, HTC ha adoptado su algoritmo.

ArcSoft se fundó en 1994 y tiene su sede en Estados Unidos y cuenta con centros tecnológicos en Shanghai, Hangzhou y Nanjing. Los puntos fuertes de ArcSoft son el zoom óptico y la compensación de poca luz. La segunda imagen con zoom óptico y la imagen de compensación de luz oscura del artículo anterior son de Irisoft.

Shanghai Xingxinwei es una empresa fundada en 2011, dedicada principalmente a la investigación y desarrollo de procesadores de imágenes. Actualmente, sus productos se utilizan principalmente en el mercado de vehículos. Como una de las pocas empresas que desarrolla ISP independientes, también está desarrollando ISP y algoritmos de cámara dual. Después del mercado de cámaras duales, X-Chip será un caballo oscuro con un enorme potencial.

Acaban de salir las cámaras duales, por lo que cada empresa tiene sus propias ventajas y desventajas en cuanto a algoritmos. Sin embargo, a juzgar por los efectos de los teléfonos móviles con doble cámara que se han lanzado hasta ahora, es necesario mejorar los algoritmos de cada empresa. A medida que mejoren varias capacidades de algoritmos, las cámaras duales inevitablemente se convertirán en características estándar en los teléfonos móviles.

2. Proveedor de sensores de cámara dual

Debido a que dos cámaras necesitan sincronizar marcas de tiempo al tomar fotografías, esto requiere que el sensor de la cámara tenga una señal de sincronización. Actualmente, los proveedores de sensores que proporcionan esta señal de sincronización incluyen a Sony, Samsung, OV y Gekowei. Por tanto, los sensores de cámara dual utilizan principalmente estos productos.

3. Proveedores de módulos de cámara dual

Actualmente hay muchas fábricas de módulos que pueden producir cámaras duales, incluidas Lite-On, Yushun, Sony, Namuga, O-Film, Samsung Electromechanical, Qiu Ti, etc. Sin embargo, los que tienen experiencia en producción en masa son principalmente Guangbao, Yushun y Xinli. Los modelos de Huawei utilizan principalmente módulos de Lite-On y Yusun. O-Film y Samsung Electromechanical, confiando en sus sólidas capacidades de fábrica, ahora están logrando grandes avances en el campo de los módulos de cámara dual. Namuga mantiene buenas relaciones de comunicación con varias empresas de algoritmos. Es proveedor de teléfonos móviles Samsung y poco a poco está desarrollando sus esfuerzos en el campo de los módulos de doble cámara.

Sin embargo, diferentes funciones requieren diferentes módulos. Sigamos tomando las cuatro funciones mencionadas anteriormente como ejemplos:

Para aplicaciones a distancia, el enfoque general es el tamaño de la cámara especificaciones comunes como 13M+2M, 13M+5M.

A través de estos dos métodos se puede calcular mejor la distancia del objeto a la lente.

Lo más importante del módulo de cámara dual con zoom óptico es que las dos cámaras deben tener diferentes FOV, similar a la imagen a continuación:

Diferente FOV, diferente enfoque y luego A través del algoritmo, puede implementar la función de zoom óptico.

Generalmente, la mejora de la luz oscura se toma con una cámara RGB a todo color y una cámara monocromática en blanco y negro, como se muestra en la siguiente figura:

En términos de algoritmo, La cantidad de luz entrante la lee principalmente la cámara en blanco y negro de la derecha, para compensar el color de la cámara RGB izquierda.

Disparo y modelado 3D, este método es algo similar al módulo relacionado con la distancia. Lo que pasa es que el 3D requiere una mayor precisión en las distancias. En este caso, es aún más necesario aumentar la distancia entre las dos cámaras. Algunas incluso utilizan el posicionamiento asistido por infrarrojos para lograr el alcance y, en última instancia, lograr la función de disparo y modelado en 3D.

Dificultades en la fabricación de módulos de cámara dual;

Generalmente existen dos tipos de cámaras duales: * * sustrato o * * * soporte. Como se muestra en la siguiente figura:

En el caso de un sustrato * * *, se colocan dos sensores de cámara * * * en el mismo sustrato y luego se saca un FPC del sustrato. Si utiliza un soporte * * *, como se muestra en la imagen de arriba, los sensores se sujetan por el soporte y cada sensor tiene su propia placa base y FPC.

* * *Ventajas de la placa base: dos sensores pueden colocarse en la misma placa plana y son resistentes a caídas.

* * *Desventajas de los sustratos: baja producción, lo que se traduce en precios elevados.

* * *Ventajas de los soportes: alto rendimiento y buen precio.

* * *Desventajas del soporte: Al ser dos módulos de sensores independientes, se requiere calibración AA para colocarlos en el mismo plano, lo cual es difícil y tiene poca resistencia a caídas.

En resumen, ambos métodos tienen sus pros y sus contras. Actualmente, solo Huawei adopta el método del sustrato **. Pero de cualquier manera, el rendimiento actual es pobre, por lo que el costo sigue siendo alto.

El futuro de las cámaras duales

Si se mejora el algoritmo y la tasa de rendimiento del módulo, las cámaras duales todavía tienen muchas ventajas que vale la pena aprovechar.

Sin embargo, debido a los diferentes requisitos de ubicación de módulos para diferentes funciones, es posible que las cámaras duales actualmente no puedan cumplir con los requisitos de cámara de todos.

Cuando Google lanzó el Proyecto Tango, propuso inteligentemente un concepto de tres cámaras: cuando se necesita medición de distancia y modelado 3D, se pueden usar dos cámaras más lejanas si se puede usar zoom óptico y compensación de luz oscura; dos lentes de primer plano. Esta sensación de profundidad puede incluso combinarse con luz infrarroja para medir la distancia con mayor precisión.

En cualquier caso, con la evolución de los algoritmos de doble cámara y el aumento de la demanda de realidad virtual, las cámaras juegan un papel cada vez más importante. Es probable que los teléfonos con cámaras duales, o incluso cámaras duales en la parte frontal y cámaras triples en la parte posterior, se vuelvan más comunes el próximo año.