Economize tempo e esforços com a polarização no sensor

Por que usar polarização no sensor?

Muitos sistemas de visão enfrentam dificuldades para superar os efeitos de luz dinâmica ou excessiva, reflexos, neblina e brilho de superfícies brilhantes como vidros, plásticos e metais. As câmeras de visão de máquina Blackfly S com polarização no sensor da Sony e os recursos antirreflexo integrados no Spinnaker SDK garantem uma solução fácil de implementar, leve e confiável para solucionar esses desafios.’ Com controle preciso e dinâmico sobre exposição, ganho, balanço de branco e correção de cores, as câmeras Blackfly S com polarização no sensor captam luz de quatro ângulos em um único quadro, reduzindo significativamente a complexidade do sistema e o design da aplicação.

Os sistemas que dependem de várias câmeras e filtros por trás de um prisma divisor de feixe, ou de uma única câmera com um filtro rotativo ou roda de filtro, são grandes, complicados e lentos. Ao detectar simultaneamente o ângulo e a intensidade de toda a luz polarizada em todo o sensor, as câmeras Blackfly S com sensores polarizados garantem mais velocidade, tamanho reduzido, menor complexidade e consumo de energia mais eficiente em comparação com as soluções existentes.

Modelos de câmera compatíveis:

Câmeras Blackfly S GigE com polarização no sensor

BFS-PGE-123S6P-C: 12.3 MP, 10 FPS, Sony IMX253MZR, Polarized

BFS-PGE-51S5P-C: 5.0 MP, 24 FPS, Sony IMX250MZR, Polar-Mono

BFS-PGE-51S5PC-C: 5.0 MP, 24 FPS, Sony IMX250MYR, Polar-RGB

Câmeras Blackfly S USB3 com polarização no sensor

BFS-U3-51S5PC-C: 5.0 MP, 75 FPS, Sony IMX250MYR, Polar-RGB

BFS-U3-51S5P-C: 5.0 MP, 75 FPS, Sony IMX250MZR, Polar-Mono

Quando a polarização na câmera é útil:

Sistemas aéreos não tripulados (UAS)

Geralmente, aplicações como UAS ou drones operam ao ar livre em condições de iluminação não controladas. A Blackfly S fornece quatro conjuntos de imagens polarizadas (com ângulos de polarização em 90°, 45°, 135° e 0°) para compensar as mudanças nas condições de iluminação e o movimento e a orientação relativos dos UAS. Ao fornecer aos engenheiros de aplicação quatro conjuntos de imagens polarizadas por quadro, a Blackfly S reduz a complexidade do sistema, o peso da carga útil e os pontos de falha e melhora a qualidade da imagem e o tempo de decisão em condições de iluminação desafiadoras.

Sistemas de tráfego inteligentes (ITS)

Usar configuração de filtro polarizado é um desafio para aplicações de ITS, como imagens de violações de uso de cinto de segurança ou dispositivos móveis através de para-brisas reflexivos, conforme as condições de iluminação externa mudam ao longo do dia. Alguns sistemas solucionam esse desafio com configurações de várias câmeras ou de filtros, comprometendo significativamente a confiabilidade do sistema e aumentando os custos de hardware e manutenção. A polarização na câmera pode capturar simultaneamente quatro conjuntos de imagens por quadro, garantindo que pelo menos uma dessas imagens seja eficaz na eliminação dos reflexos indesejados. Os desenvolvedores de aplicativos têm a flexibilidade de escolher uma ou várias imagens polarizadas durante o pós-processamento, o que economiza tempo e dinheiro em termos de desenvolvimento, integração e manutenção.–

Reflexos nos para-brisas sob condições de iluminação externa, com e sem polarização.

Detecção e identificação

A polarimetria é ideal para detectar objetos que, de outra maneira, seriam difíceis de identificar usando as tradicionais imagens visíveis ou térmicas. Veículos camuflados ou estruturas celulares microscópicas continuam refletindo luz polarizada orientada paralelamente à superfície e esses reflexos se destacam claramente no modo AoLP (ângulo de polarização linear), conforme ilustrado abaixo.

Veículo bem camuflado antes e depois do uso da polarização no sensor

Otimização da aprendizagem profunda (deep learning, DL) para AUVs e USVs’

A limpeza das imagens com a remoção de brilho e reflexos indesejados pode simplificar o treinamento de sistemas de deep learning. Isso é especialmente útil nos ambientes de alto brilho encontrados por veículos autônomos e USVs marítimos submersíveis.

Outras aplicações

A alta resolução e o baixo ruído de leitura das câmeras Blackfly S permitem que um amplo campo de visão seja analisado com equipamentos de microscopia padrão (por exemplo, as propriedades polarizadoras e a atividade óptica dos compostos biológicos podem diferenciar tecidos saudáveis e doentes). Várias outras aplicações, como fabricação de semicondutores e eletrônicos, fabricação e inspeção de telas planas (FPD), embalagens de alimentos, cosméticos, embalagens farmacêuticas, logística, microscopia e inspeção, lidam com áreas de superfície reflexiva em que a polarização na câmera pode ser especialmente útil.

O que diferencia as câmeras Blackfly S com sensores polarizados da Sony?’

Polarização no sensor da Sony’

Os sensores IMX253MZR e IMX250MZR da Sony são baseados nos famosos sensores IMX253 de 12 e 5 megapixels e nos sensores CMOS do obturador global IMX250 Pregius.’ Cada pixel tem seu próprio filtro polarizante e os filtros estão orientados a 0°, 45°, 90° e 135° e dispostos em blocos de dois pixels repetidos. Os sensores têm recursos que minimizam o impacto da eficiência quântica (QE) reduzida resultante da adição de filtros polarizantes aos pixels. Por exemplo, os filtros polarizantes do IMX250MXR têm uma proporção de extinção de 4:1, que é alta o suficiente para gerar dados polarimétricos precisos sem bloquear a luz interpolarizada. Isso garante que, mesmo quando o alinhamento do filtro deixa passar uma quantidade mínima de luz, uma quantidade de luz suficiente alcançará o fotodiodo sensível à luz para capturar imagens úteis. Isso permite capturar imagens de baixo ruído mesmo em condições desafiadoras que exigem ganho para compensar a QE reduzida.

Spinnaker SDK com recursos antirreflexo e de remoção de reflexo

O Spinnaker SDK oferece suporte a chamadas de API para criar uma imagem com redução de brilho usando as imagens de origem e selecionando o pixel mais escuro de cada quadrante de polarização. Com medições polarimétricas, é possível reduzir dinamicamente os reflexos de superfícies não metálicas, diminuindo a complexidade do sistema e economizando tempo de desenvolvimento de aplicações. Veja o exemplo abaixo:

L - Imagem polarizada bruta | M - Imagem polarizada com objeto de interesse destacado em vermelho | R - Imagem processada com redução antirreflexo ativada

Taxas de quadros mais altas (com compressão sem perdas)

As câmeras Blackfly S GigE com sensores de imagem CMOS polarizada da Sony garantem taxas de quadros mais altas em alta resolução (por exemplo, até 14 FPS a 12 MP) sem perder dados de imagem utilizando a compressão sem perdas incorporada no firmware da câmera.’’ A velocidade de processamento superior e a alta resolução podem ser úteis principalmente em aplicações altamente exigentes, tanto industriais quanto orientadas a pesquisas.

Interpretação dos dados de polarização

Para interpretar e caracterizar os parâmetros de polarização da luz são necessárias medições dos quatro ângulos de polarização. Para conseguir isso para cada pixel no sensor, é necessário um processo de interpolação em que os dados de pixels adjacentes são combinados. Isso lembra a maneira como os dados de pixels vermelhos, verdes e azuis adjacentes são combinados em sensores de cor para produzir os valores de RGB de cada pixel. Esse processo é nativamente compatível com o Spinnaker SDK.

Combinação de polarização e cor

O sensor IMX250MYR adiciona uma matriz de filtro de cores ao sensor abaixo dos filtros de polarização. Esse sensor usa um padrão Quad-Bayer exclusivo que prioriza a resolução espacial do domínio de polarização sobre a resolução espacial da informação de cor.

Pixels RGB reorganizados em “superpixels” 2 x 2. Cada superpixel tem um filtro polarizador por orientação e contém todas as informações necessárias para calcular os parâmetros de Stokes no local.

Captura de tela da GUI do Spinnaker SDK destacando ‘superpixels 2 x 2’

Função do obturador global

Os sensores de imagem CMOS do obturador giratório não conseguem identificar com precisão objetos de movimento rápido devido à distorção do plano focal. As câmeras Blackfly S com os novos sensores polarizados no sensor da Sony resolvem esse problema fornecendo uma memória analógica dentro de cada pixel e uma função de obturador global para permitir imagens de alta qualidade sem distorção do plano focal.’

Leitura adicional:

A luz é uma onda eletromagnética transversal. À medida que se propaga, ela oscila perpendicularmente à direção da propagação. A maioria das fontes de luz emite luz não polarizada, com todas as ondas oscilando em ângulos aleatórios. Quando a luz fica alinhada de modo que a maioria das ondas oscila em um ângulo comum, ela é considerada polarizada. A polarização circular também é possível, embora esteja além do escopo deste guia.

Luz não polarizada oscilando em ângulos aleatórios em comparação com luz polarizada alinhada em um ângulo

Filtros polarizantes

Os filtros polarizantes formam a base da maioria das tecnologias de luz polarizada. Ao alinhar uma série de aberturas estreitas, os filtros polarizantes permitem a passagem da luz que oscila perpendicularmente às aberturas e bloqueiam a luz que oscila paralelamente a elas.

O filtro polarizante passa pelo feixe amarelo, que é paralelo ao eixo polarizante (ou perpendicular ao ângulo das aberturas), e bloqueia o feixe azul alinhado perpendicularmente ao eixo polarizante (ou paralelo ao ângulo das aberturas).

Frequentemente, as aplicações industriais dependem de um par de filtros polarizantes: um que cria uma fonte de luz polarizada e outro que deixa passar somente a luz polarizada alinhada a uma orientação específica. Esses sistemas normalmente exigem filtros precisamente alinhados e iluminação altamente controlada. Eles são sensíveis apenas a um ângulo da luz polarizada.

À medida que o filtro polarizante é girado, a intensidade da luz que ele deixa passar aumenta conforme se alinha e diminui conforme se movimenta para além do ângulo de alinhamento.

À medida que um filtro polarizante alinhado ao ângulo da onda azul é girado, ele começa a bloquear a onda azul e a deixar a laranja passar.

Quando é plotada, a alteração na intensidade relativa à orientação do polarizador é como uma função de seno. A proporção entre as intensidades mais altas e mais baixas é chamada de proporção de extinção.

Devido à natureza transversal da luz, os ângulos de polarização não podem exceder 180°. Como as aberturas em um filtro polarizante ficam todas em paralelo, girar um filtro a 180° o fará retornar à orientação original. Isso explica por que a intensidade alcança picos e cai duas vezes quando o filtro é girado 360°.

Como a luz fica polarizada?

A luz pode ficar polarizada quando emitida diretamente de uma fonte coerente, passando através de um filtro polarizante ou refletindo em uma superfície não metálica. O ângulo da luz polarizada refletida na água ou em uma superfície polida é paralelo à superfície.

O ângulo da luz polarizada pode mudar à medida que ela passa através de determinados materiais opticamente ativos, como moléculas biológicas e produtos farmacêuticos.

Parâmetros de Stokes

Os quatro parâmetros de Stokes são uma maneira conveniente de descrever o estado de polarização de um feixe de luz. Os parâmetros de Stokes são a base de muitos cálculos e algoritmos polarimétricos. Os usuários que quiserem adaptar as técnicas existentes ou criar suas próprias técnicas devem se familiarizar com a maneira de determinar os parâmetros de Stokes no IMX250MZR.

S0 é a intensidade do feixe de luz. No IMX250MZR, isso é calculado pela soma das intensidades dos pixels polarizados horizontal e verticalmente.

S1 é a diferença entre os componentes horizontais e verticais. Os valores positivos são polarizados horizontal e linearmente, enquanto os negativos são polarizados vertical e linearmente.

S2 é o componente de 45°. Os valores positivos são polarizados linearmente a 45°. Os valores negativos são polarizados linearmente a -45° ou 135° (se desejado).

S3 é o componente de polarização circular. Embora esse parâmetro não seja medido pelo IMX250MZR, geralmente pode ser estimado com precisão. Em ambientes externos iluminados passivamente, o S3 é considerado como 0, já que a luz solar não é polarizada e a reflexão ou a difusão da luz solar geram apenas a polarização linear.

Em ambientes com iluminação ativa controlada, é possível eliminar quaisquer fontes de luz não polarizada, tornando possível caracterizar o componente circular.

Os parâmetros de Stokes S1, S2 e S3 são geralmente representados como um conjunto de coordenadas esféricas mapeadas para uma esfera de Poincaré. Essa notação é uma maneira conveniente de entender a contribuição relativa de cada um dos componentes polarizados de um feixe de luz para seu estado geral de polarização.

Esfera de Poincaré. Em ambientes externos, o componente S3 pode ser considerado 0. A intensidade Ip é igual a 1.

Os parâmetros de Stokes podem ser usados para calcular os parâmetros polarimétricos e aperfeiçoar muito as imagens do espectro visível.

Grau de polarização linear

O grau de polarização linear (Degree of Linear Polarization, DoLP) é a maneira mais básica de interpretar os dados de polarização. O DoLP é a proporção de luz que é polarizada em determinado pixel. Uma fonte de luz perfeitamente polarizada teria um DoLP de 100%, enquanto a luz não polarizada teria um DoLP de 0%.

Diferença entre DoLP de 100% em relação ao DoLP de 0%

Ângulo de polarização linear (AoLP)

O ângulo de polarização linear (AoLP) é o ângulo médio de polarização da luz em determinado pixel. Se o DoLP estiver baixo, somente uma pequena quantidade de luz será polarizada. Nesse caso, os valores de AoLP resultantes mostrarão um claro ruído espacial e temporal. É parecido com o que ocorre com um sinal de baixa intensidade sendo amplificado com alto ganho. À medida que o DoLP aumenta, os valores de AoLP ficam com menos ruído.