Por que auditar o modelo de IA não protege a sua operação

Quando uma empresa avalia um modelo de IA, ela costuma fazer os testes certos: qualidade de resposta, cobertura de casos de uso, aderência a políticas de conteúdo, reputação do fornecedor. São avaliações válidas. Mas representam uma fração do risco real que a operação assume ao adotar IA.

O Relatório Internacional de Segurança de IA de 2026, presidido por Yoshua Bengio com a contribuição de mais de 100 especialistas globais, chegou a uma conclusão que muda a conversa sobre governança: os riscos mais urgentes de IA nas organizações não vêm dos modelos em si. Vêm dos sistemas complexos que as empresas constroem ao redor deles.

Este artigo explica o que isso significa na prática e como adaptar a governança de IA a partir dessa perspectiva.

O modelo é o cofre. A fiação é a porta dos fundos.

A metáfora mais precisa que encontramos para descrever esse problema é simples: o modelo de IA é o cofre. Você pode escolher o melhor cofre do mercado, com a certificação mais rigorosa e o histórico mais confiável. E ainda assim ter a porta dos fundos aberta.

A porta dos fundos são os sistemas ao redor do modelo: as integrações entre ferramentas, os conectores que passam dados de um sistema para outro, os agentes de IA que executam tarefas em sequência, as automações encadeadas onde a saída de um processo alimenta o próximo sem validação humana.

É aqui que a maioria das falhas de IA em empresas acontece. Não dentro do modelo. Na fiação.

O que o relatório identifica como risco real

O relatório descreve três categorias de risco que estão nos sistemas, não nos modelos:

A primeira é a complexidade opaca. Sistemas de IA conectados entre si criam cadeias de dependência difíceis de auditar. Quando algo falha, identificar onde na cadeia a falha aconteceu exige visibilidade que a maioria das empresas não tem.

A segunda é a autonomia não mapeada. Agentes e automações executam ações sem que exista um registro claro do que foi feito, por quê e com quais dados. A empresa delegou capacidade de ação a um sistema sem ter mapeado o alcance dessa delegação.

A terceira é a propagação de erros. Em sistemas encadeados, um erro em uma etapa se propaga para as seguintes antes que alguém perceba. Sem pontos de verificação definidos no fluxo, o erro chega ao resultado final.

Como adaptar a governança a partir dessa perspectiva

A governança de IA que funciona não é uma lista de modelos aprovados. É um inventário de sistemas. Três perguntas que devem ter resposta documentada:

Quais sistemas de IA na operação têm acesso a dados sensíveis? Não só qual modelo, mas qual integração, qual conector, qual automação passa esses dados de um lado para o outro.

Quais ações esses sistemas podem executar sem revisão humana? Onde a autonomia começa e onde o humano entra no loop? Esse ponto precisa ser explícito no desenho do processo, não uma suposição.

Quem é responsável por monitorar o comportamento desses sistemas? Não o modelo. O sistema como um todo: integrações, saídas, frequência de revisão, critério para intervenção.

Quando essas perguntas não têm resposta imediata, o mapeamento é o passo urgente. Antes de qualquer nova implementação, antes de qualquer política.

Próximo passo

Na Letz, o mapeamento de sistemas de IA é o ponto de partida de qualquer projeto de governança que fazemos com clientes. Se você quer entender como aplicar essa perspectiva na sua operação, vamos conversar.