ChatGPT “aprendeu” a falar e a reconhecer imagens. Como e em que situações isso pode ser útil?

Estava prometida e vai começar a ficar disponível, uma nova geração de atributos do ChatGPT, que vão alargar as possibilidades de interação com o chatbot da OpenAI. A aplicação de inteligência artificial generativa vai ganhar a capacidade de falar com o utilizador – até agora a interação era apenas possível em texto – e interpretar imagens, a partir de fotos.

Nada melhor do que experimentar para ver, quem tiver acesso, mas a OpenAI já dá vários exemplos do que passará a ser possível fazer com estes novos atributos do ChatGPT, que vai poder contar histórias de embalar, ajudar a reparar uma bicicleta, ou participar em debates à mesa do jantar. Mas vamos por partes.

[twitter url=”https://twitter.com/OpenAI/status/1706280618429141022″/]

Como pode ser útil esta nova capacidade de reconhecer imagens do ChatGPT? A OpenAI ilustra com alguns cenários. Se estiver em viagem e mostrar uma foto de um monumento ou de uma paisagem à aplicação, isso será o suficiente para iniciar uma conversa sobre o tema e receber informação sobre factos associados àquilo que está na imagem.

Em casa, e com falta de ideias para decidir o que vai ser o jantar, pode abrir a porta do frigorífico, tirar uma foto e esperar por sugestões de receitas passo-a-passo, com os ingredientes que a imagem mostrou que tem disponíveis. Na versão atual da aplicação já é possível pedir este tipo de sugestões, mas ainda tem de escrever e esperar pela resposta também por escrito.

Outro cenário, onde esta versão melhorada do ChatGPT com reconhecimento de imagens pode ser útil, é na ajuda aos trabalhos de casa dos mais novos. Imagine um problema de matemática. Tira uma foto ao problema, faz um círculo à volta da área onde existem dúvidas e recebe de volta dicas para a resolução. A mesma lógica aplica-se a pedidos de ajuda para interpretar gráficos complexos.

A ferramenta de seleção em imagens pode ser útil ainda noutros contextos. Por exemplo, para pedir ajuda na resolução de um problema específico quando vai andar de bicicleta, como ajustar a altura do banco. Faz a foto, seleciona a zona e espera por dicas.

[related-post id=”355771″ post_type=”post” /]

O que traz de novo a interação por voz? Para além do óbvio, interagir por voz é mais prático do que fazê-lo escrevendo e lendo, o ChatGPT ganha a possibilidade de interagir e responder não apenas a perguntas diretas, mas no contexto de uma conversa com diferentes interlocutores. A OpenAI refere, por exemplo, que a aplicação passa a poder ter lugar em qualquer debate durante as refeições. A funcionalidade de voz pode ser usada para outros use cases, como contar uma história para dormir, ou ler um texto criado ou pesquisado pela aplicação.

A OpenAI explica, no entanto, que está consciente do potencial que esta ferramenta tem para o bem e para o mal, e como pode ser usada para que alguém faça passar-se por outra pessoa e em esquemas de fraude. Explica que é por isso que avança com a tecnologia apenas no contexto do chatbot e para dar resposta a casos de utilização muito específicos. A mesma tecnologia está a ser usada pelo Spotify numa ferramenta que acaba de ser anunciada ainda em fase de testes e que permite fazer a tradução áudio de podcasts.

As novas capacidades do ChatGPT integram uma interface que pretende ser mais intuitiva e capaz de suportar uma comunicação mais natural. Não vão ficar disponíveis para todos os utilizadores. Apenas para as versões pagas da app, tanto para particulares como para empresas. As novidades chegam ao longo das próximas duas semanas.

Clique nas imagens para ver a app do ChatGPT com mais detalhe

[photo-gallery id=”354583″ thumbnails=”354584,354585,354586,354587,354588,354589″ layout=”linear”/]A capacidade de comunicar com voz ficará disponível nas apps para iOS e Android, para poder usá-la, os utilizadores devem confirmar essa opção nas configurações. Depois de selecionar a opção novas funcionalidades nas definições da app e confirmar a ativação das conversas de voz é preciso escolher uma das cinco vozes disponíveis, a partir do botão dos auscultadores que aparece no topo direito do ecrã. O reconhecimento de imagens ficará disponível em todas as plataformas que dão acesso à app.

No site da OpenAI vai poder ver alguns exemplos do ChatGPT renovado em ação.