.

Publicado em 2 de Junho de 2025

Compartilhar:

A Promessa e o Perigo da Nova Revolução Digital

A nova corrida tecnológica global levanta uma pergunta urgente: estamos prontos para confiar na inteligência que criamos?

A Inteligência Artificial Generativa avança em alta velocidade, prometendo transformar indústrias e o cotidiano. Ou, pelo menos, é isto que vem sendo pregado pelos grandes players. 

Ocorre que, por trás do entusiasmo com suas capacidades (de criar texto, imagem e código notadamente), riscos profundos, desde vieses e desinformação até a reconfiguração do poder e da confiança, estão sendo relegados ao segundo plano. Empresas, desenvolvedores, governos e cidadãos enfrentam o desafio de navegar esta tecnologia aos tropeços, esbarrando em nossos valores fundamentais; EUA e China parecem se importar menos com questões regulatórias e éticas do que a Europa por exemplo, e é onde estão sediados os grandes fornecedores desta tecnologia.

A revolução industrial é costumeiramente atrelada à temática, mas a ascensão da IA Generativa parece ser um dos fenômenos tecnológicos mais rápidos da história. Ferramentas que transformam simples comandos em conteúdo novo e complexo cativaram o mundo.

 No entanto, essa "corrida do ouro" digital acontece enquanto "construímos a estrada e as placas de sinalização ao mesmo tempo", como metaforizado por especialistas. Casos recentes já acenderam o alerta: advogados nos sancionados por usar e apresentar petições com precedentes judiciais completamente inventados pela IA, contexto em que até juízes são investigados, por razões similares; o chatbot Grok, da xAI, gerou desinformação ao declarar sobre eventos sociais e políticos na África do Sul. 

Para entender por que essas ferramentas podem errar de forma tão grosseira, há que se compreender sua natureza. O termo "papagaios estocásticos", cunhado por pesquisadoras (vide paper “On the Dangers of Stochastic Parrots”), oferece uma lente crítica: Grandes Modelos de Linguagem (LLMs), o “motor” por trás de muitas IAs Generativas, são treinados em vastas quantidades de texto e código da internet (quiçá a internet inteira, como dizem). Eles aprendem a identificar padrões estatísticos e a prever a próxima palavra ou sequência mais provável em uma frase, comunicando-se como um papagaio, ou seja, repetindo o que "ouviram", sem um real entendimento do significado, contexto ou da veracidade da informação. Eles não "raciocinam" nem possuem consciência, a despeito de existir uma corrente de pensamento alegando o contrário, o que esbarra em premissas conceituais sobre o que se entende por raciocínio ou consciência.

Essa arquitetura é dita a raiz de muitos problemas, parece que é possível a tecnologia ainda esteja muito mal compreendida em termos de suas benesses e de suas limitações.

 Ora, se os dados de treinamento, majoritariamente extraídos da internet, são um espelho da sociedade, com todos os seus vieses – culturais, linguísticos e de representação, também é necessário admitir que o conteúdo de países ocidentais, em língua inglesa e produzido por grupos com maior acesso digital, é desproporcionalmente representado.

Consequentemente, produtos que usam IA generativa, mal projetados, irão perpetuar estereótipos, marginalizar culturas e gerar resultados que não refletem a diversidade global. As chamadas "alucinações" – onde a IA “inventa” fatos, fontes ou, como visto, precedentes legais – são outro subproduto dessa natureza estatística. Sem ancoragem na realidade, o sistema preenche lacunas com o que soa plausível, mas pode ser completamente falso. 

Agravando o quadro, há uma frequente falta de transparência sobre como esses modelos são treinados e quais são suas limitações. Empresas podem fazer alegações exageradas sobre as capacidades de seus produtos, como seletores de candidatos a vagas que, na prática, demonstraram discriminar falantes não nativos de inglês. 

Adicionalmente, o design antropomórfico – IAs projetadas para interagir de forma humana, usando pronomes pessoais e emojis – pode induzir os usuários a uma confiança excessiva, levando à dependência ou, em cenários mais graves, à manipulação, um risco já antecipado desde os primeiros chatbots como ELIZA, na década de 60. Recentemente, o ChatGPT passou por uma atualização que o tornou excessivamente “puxa-saco”, gerando reação negativa nos usuários; e há casos de sérios danos causados pelo uso de chats como namoradas(os). Mark Zuckemberg chegou a sugerir que  o americano médio tem menos de três amigos e que a IA suprirá a demanda de amigos dos seres humanos.

As consequências desses desafios se estendem para além de erros isolados, tocando em questões éticas e sociais profundas. O uso de IA Generativa em contextos de alto risco – como diagnósticos médicos, decisões de crédito, processos de contratação ou no sistema de justiça – é particularmente preocupante. Um sistema enviesado ou propenso a erros pode levar a discriminação, negação de oportunidades e injustiças significativas. 

Um dos relevantes e recentes (apesar da sua relação com a Teoria da Internet Morta) é a degradação do nosso ecossistema informacional oriunda de "loops de feedback". Com a IA gerando cada vez mais conteúdo (estima-se que até 25% do conteúdo da internet já possa ser sintético), futuros modelos de IA serão treinados com dados que eles mesmos ou outras IAs produziram. Esse ciclo de "IA alimentando IA" pode amplificar vieses e alucinações, levando a um fenômeno conhecido como "colapso do modelo", onde os sistemas esquecem a distribuição de dados original e a qualidade da informação online, incluindo resultados de busca e publicações acadêmicas, se deteriora.

A concentração de poder no desenvolvimento desses modelos massivos nas mãos de poucas big techs, predominantemente localizadas nos EUA e China, e a falta de diversidade em suas equipes de desenvolvimento, também suscitam preocupações sobre quais valores e perspectivas estão sendo embutidos nessas tecnologias globais, e quem se beneficia ou é prejudicado por elas.

Não obstante, Google (DeepMind) lançou o AlphaEvolve, IA que descobre algoritmos e resolve problemas matemáticos complexos, com soluções mais eficientes, para problemas antigos inéditas.

Outros casos de uso, como análise preditiva de doenças, avançaram muito com a tecnologia, a ponto de criar outras preocupações: se cada vez mais é maior o índice de acerto na previsão de doenças, isto não serviria apena à medicina preventiva, mas, também, às seguradoras, para analisar o risco e aumentar cobranças contra grupos específicos de maneira mais contundente.

Diante desse cenário complexo, a inação não é uma opção. Para empresas e desenvolvedores, a adoção da IA Generativa exige um compromisso com princípios "não negociáveis": confiabilidade, segurança (física e de dados), inclusão e design centrado no ser humano. Isso se traduz em três prioridades estratégicas, como destacado por especialistas da indústria e relatórios de consultoria:

  1. Prontidão Organizacional: Capacitar equipes internas para entender as possibilidades, riscos e limitações da IA, permitindo avaliação independente de fornecedores e garantindo supervisão humana qualificada.
  2. Due Diligence Robusta: Realizar uma avaliação criteriosa dos riscos e benefícios antes de adotar ou desenvolver sistemas de IA, incluindo a análise de como os modelos de fornecedores ("upstream providers") são treinados e mantidos, e quais garantias oferecem.
  3. Governança Contínua: Implementar mecanismos de monitoramento constante do desempenho dos modelos, vieses, segurança e impactos emergentes, adaptando-se conforme a tecnologia e seus usos evoluem. Ferramentas de "IA Observability", como as desenvolvidas por empresas como a Fiddler, surgem como aliadas importantes nesse processo, oferecendo um "painel de controle" para os riscos da IA.

Reguladores globais também estão se movendo. O EU AI Act, ordens executivas nos EUA e alertas da Federal Trade Commission (FTC) indicam uma crescente expectativa por responsabilidade. A FTC, por exemplo, questiona empresas sobre a necessidade de seus produtos de IA, a eficácia na mitigação de riscos, e se estão sendo transparentes ou enganosas com os consumidores sobre as capacidades e o uso da IA. Tentar se eximir de responsabilidade alegando que a IA é uma "caixa preta" incompreensível não é mais uma postura aceitável. 

No Brasil, a temática ainda é incipiente e merece ser mais bem explorada. O Código de Defesa do Consumidor e a legislação em geral ainda é insuficiente. O marco regulatório da inteligência artificial e o novo código civil precisam refletir as reais necessidades de regulamentação.

Para a sociedade como um todo, fomentar o pensamento crítico e a “literacia” em IA é essencial. O letramento digital em IA envolve os usuários identificarem, quando não são devidamente informados, situações em que estão interagindo com uma IA e quais são seus limites. Mecanismos claros para feedback e reparação em caso de danos causados por IA também são fundamentais para manter a confiança.

O futuro da IA Generativa não está predeterminado. Ele será moldado pelas escolhas que fizermos hoje. A busca por um desenvolvimento e implementação que sejam proativamente éticos, transparentes e centrados no ser humano é o único caminho para garantir que esta poderosa tecnologia sirva para ampliar o potencial humano e construir uma sociedade mais justa, em vez de minar os alicerces da confiança e da equidade, até porque é notório que a IA passou a ser usada no âmbito da educação, corrigindo provas de alunos em escolas do Estado de São Paulo por exemplo. As próximas gerações e o futuro demandam esforços imeadiatos.

94 leituras 36 Curtidas

Sobre o Autor

Diego Sonnenthal

Diego Sonnenthal

Servidor TJSP

Profissional multidisciplinar com experiência em Direito, tecnologia e gestão.

Desde 2016 no Tribunal de Justiça de São Paulo, analisando processos complexos e redigindo decisões e sentenças. Atuou em consultoria internacional, onde liderou equipe e gerenciou contas de projetos estratégicos.

Especialização recente em Inteligência Artificial aplicada ao desenvolvimento, buscando integrar soluções tecnológicas inovadoras na área jurídica

Leia Também

94 leituras 36 Curtidas
Compartilhar:
Maratona de Inteligência Artificial I2AI
Próximo Evento

Maratona de Inteligência Artificial I2AI

De 14 a 25 de julho, reserve suas manhãs das 08h00 às 09h30 para participar da tradicional Maratona I2AI! Uma jornada intensa com debates e palestras sobre temas essenciais: Ética,