Câmera Raspberry Pi usa som para criar fotos com IA

Que som é esse? Deixe esta câmera cega mostrar a você!

Dizem que uma imagem vale mais que mil palavras, mas será que mil palavras valem uma imagem? O criador e desenvolvedor Diego Trujillo Pisanty procurou descobrir com seu projeto de câmera cega com Raspberry Pi. Em vez de usar uma lente para capturar a luz para fazer uma imagem, ele escuta o som e constrói uma aproximação do que poderia estar ao seu redor com base no áudio detectado.

O dispositivo funciona de maneira semelhante a uma câmera comum, pois você aponta a câmera para o que deseja capturar e pressiona um botão para gerar uma imagem. Nesse caso, porém, ele traz uma buzina gigante na frente usada para ajudar a amplificar a captação dos sons. Os usuários devem apontar esta buzina na direção do que desejam capturar antes de pressionar o botão. A câmera analisa o áudio por meio de um filtro AI e gera uma imagem.

De acordo com Pisanty, ele desenvolveu uma rede neural artificial personalizada (ou ANN) apenas para este projeto. Ele treinou a IA com seus próprios modelos baseados em um conjunto de vídeos feitos na Cidade do México.

O modelo foi criado pegando cada quadro de vídeo e acompanhando-o com o último segundo de áudio. Isso ajudou a construir uma associação de som e vídeo que o sistema pode usar para criar imagens. Por ter sido treinado dessa forma, tudo o que ele cria é vagamente baseado em imagens do centro da cidade do México.

Para este projeto, a Pisanty está usando um módulo Raspberry Pi 3B. Seria possível recriá-lo usando um Raspberry Pi 4, no entanto. Contanto que o Pi possa lidar com o Tensorflow, ele deve funcionar. A câmera também possui uma pequena tela que serve como uma espécie de visor. Ele permite que os usuários saibam quando as imagens estão sendo processadas e fornece uma visualização das imagens geradas. Tudo está alojado dentro de um shell personalizado impresso em 3D.

O modelo de IA usado para treinar a câmera cega foi criado usando o Python 3. Ele foi projetado para funcionar com o Tensorflow 2 e é executado no Raspberry Pi usando o TFLite. Se você quiser recriar este projeto Raspberry Pi ou apenas dar uma olhada em como ele funciona, confira o vídeo compartilhado por Pisanty no YouTube e leia mais sobre o projeto em seu site.

Junte-se aos especialistas que leem o Tom's Hardware para ficar por dentro das notícias sobre tecnologia de PC para entusiastas — e o fazem há mais de 25 anos. Enviaremos notícias de última hora e análises detalhadas de CPUs, GPUs, IA, hardware do fabricante e muito mais diretamente para sua caixa de entrada.

Ash Hill é redator freelancer de notícias e recursos na Tom's Hardware US. Ela gerencia os projetos Pi do mês e grande parte de nossos relatórios diários do Raspberry Pi.

Raspberry Pi alimenta câmera digital analógica Polaroid

Raspberry Pi dá vida ao Big Mouth Billy Bass com o ChatGPT

AMD estende pacote de CPU Jedi, lança novo acordo de GPU Resident Evil 4, $ 50 de desconto em 7900X3D

Por Stewart Bendle 05 de junho de 2023

Por Aaron Klotz 05 de junho de 2023

Por Mark Tyson 05 de junho de 2023

Por Anton Shilov 05 de junho de 2023

Por Mark Tyson 05 de junho de 2023

Por Ash Hill 05 de junho de 2023

Por Ash Hill 05 de junho de 2023

Por Mark Tyson 04 de junho de 2023

Por Mark Tyson 04 de junho de 2023

Por Ash Hill 04 de junho de 2023

Por Ash Hill 04 de junho de 2023