Usando IA para permitir que pessoas cegas encontrem rostos familiares

Quando Martin Grayson e Ed Cutrell acompanharam um grupo de atletas e espectadores com diferentes níveis de visão em uma viagem do Reino Unido aos Jogos Paralímpicos de 2016 no Rio de Janeiro, Brasil, eles começaram a pegar pistas que, embora havia vários desses atletas que não conseguiam enxergar, uma compreensão enriquecida do contexto social era incutida neles, mas infelizmente eles não conseguiam buscar as pistas sociais necessárias para realizar essa interação social da melhor maneira.

Ao observar como eles interagiam com outras pessoas, e até mesmo como eles navegavam pelos aeroportos, frequentavam uma infinidade de locais esportivos e até faziam turismo, isso permitiu que os dois colaboradores levantassem elementos-chave da interação social, começando com um sentido muito sutil e elaborado de compreensão social, que permite ao ser humano modular a forma de interagir com outras pessoas. Ter uma noção de quem está na sala, o que eles estão fazendo, qual é o seu relacionamento, e mesmo se eles são relevantes para a pessoa torna-se parte essencial da interação humana, que é despojada de pessoas cegas.

Com a ajuda de Peter Bosher, engenheiro de áudio que foi cego a maior parte de sua vida, o conceito de uma tecnologia que fornecesse informações sobre as pessoas ao seu redor repercutiu imediatamente, e assim nasceu o projeto Tokyo com uma parceria entre pesquisadores dos EUA, Reino Unido, China, Japão e Índia. Ao usar o HoloLens, esses desenvolvedores construíram um algoritmo de visão computacional que fornece níveis variados de informações sobre quem está no ambiente do usuário. Um modelo, por exemplo, detecta a pose das pessoas no ambiente, o que dá uma noção de onde e a que distância as pessoas estão do usuário, enquanto outro analisa o fluxo de fotos da câmera de alta resolução para reconhecer as pessoas e determinar se optaram por dar a conhecer os seus nomes ao sistema. Todas essas informações são transmitidas ao usuário por meio de pistas de áudio. Há também uma faixa de LED fixada acima da faixa de câmeras que rastreia a pessoa mais próxima do usuário e fica verde quando a pessoa é identificada pelo usuário. Assim, permitindo que parceiros ou espectadores saibam que foram vistos, tornando mais natural iniciar uma conversa.

Adaptado de https://news.microsoft.com/innovation-stories/project-tokyo/
Saiba mais sobre o Project Tokyo e seu desenvolvedor aqui https://www.microsoft.com/en-us/research/people/cutrell/

IMPORTANTE: Esta história foi escrita por alguém que não é o autor da solução, portanto, esteja ciente de que, embora tenha sido escrita com o maior respeito pela inovação e pelo inovador, pode haver algumas declarações incorretas. Se você encontrar algum erro, entre em contato com a equipe de inovação do doente via info@patient-innovation.com ou em carolina.piedade@patient-innovation.com diretamente.