De acordo com dados da Reuters, alguns dos modelos de inteligência artificial mais importantes não cumprem as regulamentações europeias em áreas-chave como a resiliência da cibersegurança e os efeitos da discriminação.
A UE vinha debatendo há muito tempo novas regras de IA antes que a OpenAI disponibilizasse publicamente o ChatGPT no final de 2022. A popularidade recorde e o debate público que se seguiu sobre as supostas ameaças existenciais de tais modelos levaram os legisladores a elaborar regras específicas para IA de “uso geral” (GPAI). .
Agora, uma nova ferramenta projetada pela startup suíça LatticeFlow e parceiros e apoiada por autoridades da União Europeia testou modelos generativos de inteligência artificial desenvolvidos por grandes empresas de tecnologia como Meta e OpenAI em dezenas de categorias sob a abrangente lei de inteligência artificial do bloco. entrará em vigor por etapas ao longo dos próximos dois anos.
Dando a cada modelo uma pontuação de 0 a 1, o ranking divulgado quarta-feira pela LatticeFlow mostrou que os modelos desenvolvidos pela Alibaba, Anthropic, OpenAI, Meta e Mistral tiveram classificações médias de 0,75 ou superior.
No entanto, a ferramenta “Large Language Model (LLM) Checker” da empresa revelou deficiências em alguns modelos em áreas-chave, destacando áreas onde as empresas podem precisar redirecionar recursos para garantir a conformidade.
As empresas que não cumprirem a Lei de Inteligência Artificial enfrentam multas de 35 milhões de euros (38 milhões de dólares) ou 7% do volume de negócios anual global.
Resultados mistos
Atualmente, a UE ainda está a tentar determinar como serão aplicadas as disposições da Lei de Inteligência Artificial sobre ferramentas generativas de IA, como o ChatGPT, reunindo especialistas para desenvolver um código de conduta para regular a tecnologia até à primavera de 2025.
Mas o teste LatticeFlow, desenvolvido em colaboração com investigadores da universidade suíça ETH Zurich e do instituto de investigação búlgaro INSAIT, fornece um indicador precoce de áreas específicas onde as empresas tecnológicas podem não estar a cumprir a lei.
Por exemplo, a discriminação é um problema constante no desenvolvimento de modelos generativos de IA, reflectindo preconceitos humanos em género, raça e outras áreas quando solicitado a fazê-lo.
Ao testar os resultados de discriminação do LLM Checker, o LatticeFlow deu ao “GPT-3.5 Turbo” da OpenAI uma pontuação relativamente baixa de 0,46. Na mesma categoria, o modelo “Qwen1.5 72B Chat” do Alibaba Cloud recebeu apenas 0,37.
Ao testar o “sequestro rápido”, um tipo de ataque cibernético em que hackers disfarçam um incentivo malicioso como legítimo para extrair informações confidenciais, o LLM Checker deu ao modelo Meta “Llama 2 13B Chat” uma pontuação de 0,42. Na mesma categoria, o modelo “8x7B Instruct” da startup francesa Mistral recebeu nota 0,38.
“Claude 3 Opus”, um modelo desenvolvido pela empresa Anthropic, apoiada pelo Google, recebeu a classificação média mais alta de 0,89.
O teste foi concebido em conformidade com o texto da Lei da Inteligência Artificial e será alargado para incluir novas medidas de execução à medida que forem introduzidas. LatticeFlow afirma que sua ferramenta LLM Checker estará disponível gratuitamente para desenvolvedores verificarem a compatibilidade de seus modelos online.
Petar Tsankov, CEO e cofundador da empresa, disse à Reuters que os resultados dos testes foram geralmente positivos e forneceram às empresas um plano de ação para melhorar os seus modelos de acordo com a Lei de Inteligência Artificial.
“A UE ainda está a desenvolver todos os critérios de conformidade, mas já estamos a ver algumas lacunas nos modelos”, disse ele. “Acreditamos que com um foco maior na otimização da conformidade, os fornecedores de modelos podem estar bem preparados para atender aos requisitos regulatórios.”
Meta se recusou a comentar. Alibaba, Anthropic, Mistral e OpenAI não responderam imediatamente aos pedidos de comentários.
Embora a Comissão Europeia não possa verificar ferramentas externas, o órgão foi informado em todas as fases do desenvolvimento do LLM Checker e descreveu-o como um “primeiro passo” na implementação dos novos regulamentos.
Um porta-voz da Comissão Europeia disse: “A Comissão saúda este estudo e a Plataforma de Avaliação de Modelos de IA como um primeiro passo na tradução da Lei de Inteligência Artificial da UE em requisitos técnicos”.
©ThomsonReuters 2024
