Quando a IA enlouquece, traz humanos

0


Usado por dois terços dos 100 maiores bancos do mundo para ajudar nas decisões de empréstimos, a gigante de classificação de crédito Fair Isaac Corp (FICO) e seu software de inteligência artificial podem causar estragos se algo der errado.

Essa crise quase ocorreu no início da pandemia. Como o FICO disse à Reuters, as ferramentas de inteligência artificial da Bozeman, empresa de Montana para ajudar os bancos a identificar fraudes de cartões de crédito e débito, concluíram que um aumento nas compras online significava que os golpistas deveriam estar mais ocupados do que o habitual.

O software de IA disse aos bancos para negar milhões de compras legítimas, em um momento em que os consumidores estavam brigando por papel higiênico e outros itens essenciais.

Mas os consumidores acabaram enfrentando poucas negações, segundo a FICO. A empresa disse que um grupo global de 20 analistas que monitora constantemente seus sistemas recomendou ajustes temporários que evitassem um bloqueio nos gastos. A equipe é automaticamente alertada para atividades de compra incomuns que podem confundir a IA, que é confiável por 9.000 instituições financeiras no geral para detectar fraudes em 2 bilhões de cartões.

Os clientes usam máscaras faciais para evitar a propagação do novo coronavírus enquanto fazem fila para entrar em uma loja de atacado costco em 16 de abril de 2020, em Wheaton, Maryland.
Os clientes usam máscaras faciais para evitar a propagação do novo coronavírus enquanto fazem fila para entrar em uma loja de atacado costco em 16 de abril de 2020, em Wheaton, Maryland.Chip Somodevilla Archive / Getty Images

Tais equipes corporativas, parte da especialidade de trabalho emergente das operações de machine learning (MLOps), são incomuns. Em pesquisas separadas no ano passado, a FICO e a consultoria McKinsey & Co descobriram que a maioria das organizações pesquisadas não estão monitorando regularmente programas baseados em IA após o lançamento.

O problema é que os erros podem abundar quando as circunstâncias do mundo real se desviam, ou na linguagem tecnológica “drift”, de exemplos usados para treinar IA, de acordo com cientistas que gerenciam esses sistemas. No caso da Fico, ela disse que seu software esperava mais pessoalmente do que as compras virtuais, e a proporção investida levou a uma maior proporção de transações marcadas como problemáticas.

Variações sazonais, mudanças na qualidade dos dados ou eventos importantes, como a pandemia, podem levar a uma série de previsões ruins de IA.

Imagine um sistema que recomenda roupas de banho para os compradores de verão, sem perceber que os bloqueios de Covid tornaram as calças de moletom mais adequadas. Ou um sistema de reconhecimento facial que se tornou falho porque a máscara se tornou popular.

A pandemia deve ter sido um “alerta” para quem não monitora de perto os sistemas de IA porque induziu inúmeras mudanças comportamentais, disse Aleksander Madry, diretor do Centro de Aprendizagem de Máquina Implantável do Instituto de Tecnologia de Massachusetts.

Lidar com a deriva é um grande problema para as organizações que aproveitam a IA, disse ele. “Isso é o que realmente nos impede hoje deste sonho de IA revolucionando tudo.”

Além da urgência para que os usuários resolvam o problema, a União Europeia planeja aprovar uma nova lei de IA já no próximo ano que exija algum monitoramento. A Casa Branca este mês, em novas diretrizes de IA, também pediu monitoramento para garantir que “o desempenho do sistema não caia abaixo de um nível aceitável ao longo do tempo”.

Ser lento para notar problemas pode ser caro. A Unity Software, cujo adware ajuda a atrair gamers, estimou em maio que perderia US$ 110 milhões em vendas este ano, ou cerca de 8% da receita total esperada, depois que os clientes retiraram quando sua ferramenta de inteligência artificial que determina quem mostrar anúncios para parar de funcionar como antes. Seu sistema de IA também foi o culpado por aprender com dados corrompidos, disse a empresa.

A Unity, com sede em São Francisco, recusou-se a comentar além das declarações de chamadas de ganhos. Executivos disseram que a Unity estava lançando ferramentas de alerta e recuperação para detectar problemas mais rapidamente e reconheceram que a expansão e os novos carrosAs atrizes tinham prevalecido sobre o monitoramento.

Mercado imobiliário O Zillow Group anunciou em novembro passado uma redução de US$ 304 milhões nas casas que comprou, com base em um algoritmo de previsão de preços, por valores mais altos do que poderia ser revendido. A empresa com sede em Seattle disse que a IA não conseguiu acompanhar as rápidas e sem precedentes mudanças no mercado e saiu do negócio de compra-venda.

A IA pode dar errado em muitos aspectos. Dados de treinamento mais conhecidos e tendenciosos entre raças ou outras linhas podem levar a previsões injustamente tendenciosas. Muitas empresas agora examinam os dados com antecedência para evitar isso, de acordo com pesquisas e especialistas do setor. Em comparação, poucas empresas consideram o perigo de um modelo de bom desempenho que, em seguida, quebra, dizem essas fontes.

“É um problema urgente”, disse Sara Hooker, chefe do laboratório de pesquisa Cohere For AI. “Como você atualiza modelos que se tornam obsoletos à medida que o mundo muda ao seu redor?”

Várias startups e gigantes da computação em nuvem nos últimos anos começaram a vender software para analisar desempenho, definir alarmes e introduzir soluções que, juntas, visam ajudar as equipes a controlar a IA. A IDC, pesquisadora global de mercado, estima que os gastos com ferramentas para operações de IA atingirão pelo menos US$ 2 bilhões em 2026, contra US$ 408 milhões no ano passado.

O investimento em capital de risco em empresas de desenvolvimento e operações de IA aumentou no ano passado para quase US$ 13 bilhões, e US$ 6 bilhões foram investidos até agora este ano, de acordo com dados da PitchBook, uma empresa com sede em Seattle que rastreia o financiamento.

A Arize AI, que levantou US$ 38 milhões de investidores no mês passado, permite o monitoramento de clientes como Uber, Chick-fil-A e Procter & Gamble. A diretora de produtos, Aparna Dhinakaran, disse que ela lutou com um empregador anterior para detectar rapidamente previsões de IA se tornando pobres e amigos em outros lugares lhe contaram sobre seus próprios atrasos.

“O mundo hoje é que você não sabe que há um problema até que um negócio impacte daqui a dois meses”, disse ele.

Alguns usuários de IA construíram suas próprias capacidades de monitoramento e foi isso que o FICO disse que o salvou no início da pandemia.

Os alarmes dispararam à medida que mais compras online ocorram, o que a indústria chama de “cartão não presente”. Historicamente, uma maior parte desses gastos tende a ser fraudulenta e o aumento das transações levou as transações a subir na escala do FICO de 1 a 999 (quanto maior for, maior a probabilidade de ser fraude), disse Scott Zoldi, diretor de análise da FICO.

Zoldi disse que os hábitos dos consumidores estavam mudando muito rápido para reescrever o sistema de IA. Portanto, a FICO aconselhou os clientes dos EUA a revisar e rejeitar apenas transações avaliadas acima de 900, contra 850, disse ele. Impediu que os clientes revisassem 67% das transações legítimas acima do limite anterior e, em vez disso, permitiu que eles se concentrassem em casos realmente problemáticos.

Os clientes detectaram 25% a mais do total de fraudes dos EUA durante os primeiros seis meses da pandemia do que seria esperado e 60% mais no Reino Unido, disse Zoldi.

“Você não é responsável com a IA a menos que esteja monitorando”, disse ele.

Deixe uma resposta

Seu endereço de email não será publicado.