Novo benchmark do Facebook usa humanos para testar IAs

Novo benchmark do Facebook usa humanos para testar IAs

O Facebook anunciou nesta quinta-feira (24) um novo sistema de benchmark para testar o desempenho de inteligncias artificiais. Chamado de Dynabench, ele foi criado para superar limitaes dos sistemas automatizados atualmente em uso, como a previsibilidade e a tendncia das IAs de encontrar e explorar “falhas” no teste para melhorar seus resultados.

Desenvolvido pelo Laboratrio de Pesquisa em IA do Facebook (FAIR – Facebook AI Research) o sistema usa humanos para testar os sistemas de processamento de linguagem natural (NLP, Natural Language Processing) de forma direta e dinmica.

A ideia simples: j que os NLPs so projetados para conversar com humanos, ningum melhor que os prprios humanos para testar seu desempenho. As pessoas so instrudas a testar questes “linguisticamente desafiadoras” para tentar fazer o algoritmo errar. Quanto mais difcil de ser enganado, melhor ele .

Segundo o pesquisador Douwe Kiela, do FAIR, h outras vantagens: “o processo no pode ser saturado, ele menos suscetvel a vieses e artefatos e nos permite medir o desempenho de forma mais prxima s aplicaes do mundo real com as quais mais nos preocupamos”.

Por enquanto o Dynabench s est disponvel em ingls, mas a equipe espera, com o tempo, adicionar suporte a novas linguagens, modelos de inteligncia artificial e modalidades de teste. Mais informaes esto disponveis no site do projeto, onde interessados podem contribuir “conversando” com alguns dos modelos de IA e encontrando situaes onde falham.

Fonte: Engadget


Facebook Inteligncia Artificial inteligncia

GarotoProdigio

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *