Uma demonstração comercial bem apresentada consegue mostrar o que uma ferramenta de inteligência artificial promete fazer.
Ela pode selecionar candidatos.
Detectar fraudes.
Classificar clientes.
Analisar produtividade.
Avaliar riscos.
Mas existe uma pergunta que a apresentação do fornecedor não responde sozinha:
como sua empresa comprovou que aquela ferramenta funciona de maneira segura e adequada no contexto em que pretende utilizá-la?
A ANPD deu uma pista importante sobre a direção dessa discussão ao publicar, em 9 de outubro, o segundo relatório parcial de seu Sandbox Regulatório de Inteligência Artificial e Proteção de Dados.
Três empresas dos setores financeiro, de mobilidade e de saúde estão submetendo suas soluções a um ambiente experimental supervisionado pela Agência, com testagens relacionadas a segurança, conformidade, transparência, explicabilidade e proteção de dados pessoais.
O Sandbox não cria uma obrigação geral para todas as empresas
Essa distinção precisa aparecer desde o início.
O projeto-piloto não é uma nova norma que obrigue toda empresa que utiliza inteligência artificial a reproduzir exatamente a metodologia usada pelas participantes.
O valor empresarial do relatório está em outro lugar.
Ele mostra como uma autoridade de proteção de dados está observando sistemas de IA na prática.
No segundo ciclo, as soluções passaram por coleta de evidências, classificação de riscos, definição de medidas de mitigação e processos de retestagem. A ANPD afirma expressamente que os conhecimentos produzidos no projeto servirão de subsídio para sua futura atuação normativa e regulatória.
Para empresas que já contratam IA, isso é um sinal importante.
A governança não começa quando o algoritmo dá problema
Imagine um sistema utilizado pelo RH para classificar candidatos.
O contrato com o fornecedor foi revisado.
A segurança da informação passou por análise.
A ferramenta foi integrada ao sistema.
Mas ninguém registrou quais critérios o modelo utiliza, quais dados influenciam a decisão, quais riscos foram identificados ou como a empresa verificará resultados potencialmente discriminatórios.
Se surgir um questionamento de candidato, empregado, cliente ou autoridade, a organização poderá descobrir que possui um contrato completo e pouca evidência sobre a decisão de confiar naquele sistema.
É essa lacuna que precisa ser fechada.
Comprar tecnologia e validar tecnologia são etapas diferentes
Uma due diligence de fornecedor responde perguntas importantes.
Quem é a empresa?
Onde os dados são armazenados?
Quais medidas de segurança existem?
Há suboperadores?
Quais responsabilidades foram contratadas?
Mas a avaliação da própria solução exige outra camada.
Qual finalidade será atendida?
Quais dados entrarão no modelo?
Qual resultado será produzido?
Existe revisão humana?
Como erros serão identificados?
Quais grupos podem ser afetados?
O sistema será retestado ao longo do tempo?
O fornecedor consegue explicar mudanças relevantes no modelo?
Quanto maior o impacto sobre pessoas, mais importante fica a capacidade de responder a essas perguntas.
Um dossiê de IA pode valer mais do que uma política genérica
Empresas que utilizam IA em decisões relevantes deveriam começar a registrar a história de cada aplicação.
Não é necessário criar burocracia indistinta para qualquer automação simples.
Mas sistemas utilizados em RH, crédito, seguros, prevenção a fraudes, avaliação de desempenho ou classificação de clientes merecem governança compatível com seu impacto.
Um dossiê pode documentar finalidade, base de dados, riscos identificados, testes realizados, responsáveis internos, critérios de supervisão humana, medidas de mitigação e revisões periódicas.
O objetivo não é apenas atender uma possível fiscalização.
É permitir que a própria empresa saiba por que considera aquele sistema confiável.
“O fornecedor disse que funciona” será uma justificativa cada vez mais frágil
O Sandbox da ANPD mostra uma abordagem baseada em evidências.
Testar.
Identificar risco.
Mitigar.
Retestar.
Documentar.
Esse processo não precisa ser reproduzido literalmente por todas as organizações, mas oferece um bom parâmetro de maturidade.
Quando uma IA participa de uma decisão sobre pessoas, contratar a ferramenta é apenas o começo.
A empresa precisa conseguir demonstrar por que decidiu confiar nela.