Criada para responder às perguntas dos usuários em forma de conversa, ferramenta gerou agitação em médicos e cientistas que buscam determinar quais são suas limitações Tecnologia foi criada pela OpenAI, sediada em São FranciscoZac Wolff/Unsplash
Sem devorar um único livro didático da área ou sequer passar um dia na faculdade de medicina, o coautor de um estudo em fase de pré-impressão respondeu a uma série de perguntas práticas. A quantidade de acertos foi suficiente para passar no exame que habilita médicos nos Estados Unidos.
Mas o examinado não era um membro da Mensa (organização que estuda os superdotados) ou um sábio da área de saúde, e sim a inteligência artificial ChatGPT.
Criada para responder às perguntas dos usuários em forma de conversa, a ferramenta gerou tanta agitação que médicos e cientistas estão tentando determinar quais são suas limitações – e o que ela pode fazer pela saúde e medicina.
O que é o ChatGPT – e o que não é
ChatGPT, ou Chat generative Pre-Treated Transformer, é uma ferramenta de processamento de linguagem natural impulsionada pela inteligência artificial (IA).
A tecnologia, criada pela OpenAI, sediada em São Francisco, e lançada em novembro, não é como um mecanismo de busca com bom discurso. Ela sequer está conectada à internet. Em vez disso, um programador humano alimenta uma grande quantidade de dados online que são mantidos em um servidor.
A IA pode responder perguntas mesmo que nunca tenha visto uma sequência particular de palavras antes, porque o algoritmo do ChatGPT é treinado para prever qual palavra irá surgir em uma frase com base no contexto do que vem antes. Ou seja, ele se baseia no conhecimento armazenado em seu servidor para gerar sua resposta.
O ChatGPT também pode responder a perguntas em sequência, admitir erros e rejeitar perguntas inapropriadas, segundo a empresa. É gratuito enquanto está na fase de testes.
O interesse da área médica é grande
Programas de inteligência artificial já existem há algum tempo, mas esse gerou tanto interesse que as organizações médicas, associações profissionais e revistas da área criaram forças-tarefas para ver como isso pode ser útil e entender quais limitações e preocupações éticas pode trazer.
A clínica do doutor Victor Tseng, Ansible Health, criou uma força-tarefa para tratar do assunto. Pneumologista, o doutor Tseng é diretor médico do grupo com sede na Califórnia e coautor do estudo em que o ChatGPT demonstrou que provavelmente poderia passar no exame de admissão na medicina.
Ele contou que seus colegas começaram a brincar com o ChatGPT no ano passado e ficaram intrigados quando o programa diagnosticou com precisão pacientes fictícios em cenários hipotéticos.
“Ficamos tão impressionados e verdadeiramente desanimados com a eloquência e o tipo de fluidez de sua resposta que decidimos usá-lo em nosso processo formal de avaliação e testá-lo com a referência do conhecimento médico”, lembrou.
O teste foi aplicado nas três partes que os graduados em medicina nos EUA têm de passar para serem licenciados para a prática médica. O exame é considerado um dos mais difíceis de qualquer profissão porque não faz perguntas simples com respostas que podem ser facilmente encontradas na internet. Além de testar ciência básica e conhecimento médico e gestão de casos, ele avalia raciocínio clínico, ética, pensamento crítico e habilidades de resolução de problemas.
A equipe do estudo usou 305 perguntas de teste disponíveis publicamente em junho de 2022, quando nenhuma das respostas ou contexto relacionado havia sido indexada no Google – e, portanto, não faziam parte das informações sobre as quais o ChatGPT era treinado. Os autores do estudo removeram exemplos de perguntas que tinham imagens e gráficos e começavam uma nova sessão do chat para cada pergunta que fizeram.
Os alunos costumam passar centenas de horas se preparando e as faculdades normalmente lhes dão um tempo longe das aulas apenas para estudar para o teste. O ChatGPT não precisou de nenhum trabalho de preparação.
A IA passou ou quase acertou todas as partes do exame sem qualquer treinamento especializado, mostrando “um alto nível de concordância e percepção em suas explicações”, escreveu o estudo.
Médico fica impressionado
“O exame em geral contém muitas pistas falsas”, disse. “É muito difícil fazer um bom trabalho ou tentar descobrir intuitivamente com uma abordagem como essa. Uma pessoa pode levar horas para responder a uma pergunta dessa maneira. Mas o ChatGPT conseguiu dar uma resposta precisa em cerca de 60% das vezes com explicações convincentes em cinco segundos”.
O doutor Alex Mechaber, vice-presidente do Exame de Licenciamento Médico dos EUA no National Board of Medical Examiners (Conselho Nacional de Examinadores Médicos), disse que os resultados da aprovação do ChatGPT não o surpreenderam.
“O conteúdo é bastante representativo do conhecimento médico e a prova tem o tipo de perguntas de múltipla escolha com as quais a IA provavelmente será bem-sucedida”, opinou.
O doutor Mechaber disse que o conselho também está testando o ChatGPT no exame. Os membros do conselho estão especialmente interessados nas respostas que a IA errou para entender o porquê.
“É uma tecnologia empolgante. Também estamos muito conscientes sobre os riscos que os grandes modelos de linguagem trazem em termos de potencial de desinformação, estereótipos e preconceitos”, afirmou. “Acho que essa tecnologia ficará cada vez melhor e estamos entusiasmados para descobrir como vamos abraçá-la e usá-la da maneira certa”, disse.
Outras possibilidades médicas
O ChatGPT já entrou na discussão sobre pesquisa e publicação.
Os resultados do estudo do exame de licença médica foram até escritos com a ajuda do ChatGPT. A tecnologia foi originalmente listada como coautora da pesquisa, mas o doutor Tseng diz que, quando o estudo for publicado na revista “PLOS Digital Health” neste ano, o ChatGPT não irá figurar entre os autores porque isso seria uma distração.
No mês passado, a revista “Nature” criou diretrizes que disseram que nenhum programa desse tipo poderia ser creditado como um autor, porque “qualquer atribuição de autoria traz consigo a responsabilidade pelo trabalho, o que as ferramentas de IA não podem assumir”.
Mas um artigo publicado recentemente na revista “Radiology” foi escrito quase inteiramente pelo ChatGPT. O texto questionava se um autor humano poderia ser substituído pela máquina, e o programa listou muitos de seus usos possíveis, incluindo escrever relatórios de estudo, criar documentos para os pacientes e traduzir informações médicas em uma variedade de idiomas.
Ainda assim, há limitações.
“Acho que a tecnologia vai ajudar, mas tudo na IA precisa de um apoio de segurança, um corrimão”, disse a doutora Linda Moy, editora da revista “Radiology” e professora de radiologia da Faculdade de Medicina Grossman da NYU.
Segundo ela, o artigo do ChatGPT era bastante preciso, mas criou algumas referências.
Outra preocupação da médica é que a IA poderia fabricar dados. A IA é tão boa quanto as informações com as quais é alimentada – e, com tanta informação imprecisa disponível online sobre temas como vacinas contra a Covid-19, ela poderia gerar resultados imprecisos.
Artie Shen, colega da doutora Moy e doutorando no Centro de Ciência de Dados da New York University, está explorando o potencial do ChatGPT como uma espécie de tradutor para outros programas de IA para análise de imagens médicas. Durante anos, os cientistas estudaram programas de IA de startups e operações maiores, como o Google, que podem reconhecer padrões complexos em dados de imagem. A esperança é que eles possam fornecer avaliações quantitativas para potencialmente descobrir doenças de forma até mais eficaz que o olho humano.
“A IA pode dar um diagnóstico muito preciso, mas nunca dirá como chegou a esse diagnóstico”, opinou Shen. Ele acredita que o ChatGPT pode trabalhar com outros programas para capturar sua lógica e observações.
“Se eles podem falar, há chance de que esses sistemas transmitam seus conhecimentos da mesma forma que um radiologista experiente”, disse.
Uma ferramenta para melhorar os médicos?
O doutor Tseng disse que, em última análise, o ChatGPT pode melhorar a prática médica da mesma forma que as informações médicas online têm fortalecido os pacientes e forçado os médicos a se comunicarem melhor, porque agora eles têm que fornecer informações sobre o que os pacientes leem online.
O ChatGPT não vai substituir os médicos. O grupo de Tseng continuará a testá-lo para aprender por que ele cria certos erros e quais outros parâmetros éticos precisam ser colocados em prática antes de usá-lo na vida real. Mas o médico acha que a ferramenta pode tornar a profissão médica mais acessível. Por exemplo, um médico poderia pedir ao ChatGPT para simplificar o jargão médico complicado em uma linguagem que alguém que não terminou o ensino fundamental entenda.
“A IA está aqui. As portas estão abertas. Minha grande esperança é que ela realmente fará de nós melhores médicos e prestadores de serviço”, afirmou Tsen
