“Para pessoas que recebem benefícios sociais para deficientes [the Allocation Adulte Handicapé, or AAH] Bastien Le Querrec, especialista jurídico da La Quadrature du Net, diz que eles são diretamente alvo de uma variável no algoritmo. “A pontuação de risco aumenta para pessoas que tomam AAH e trabalham”.
Como também afecta mais as famílias monoparentais do que as famílias com dois pais, os grupos dizem que discrimina indirectamente as mães solteiras, que são estatisticamente mais propensas a serem pais solteiros. “Nos critérios da versão 2014 do algoritmo, a pontuação é maior para beneficiários separados por menos de 18 meses”, afirma Le Querrec.
Changer de Cap diz que foi abordado tanto por mães solteiras quanto por pessoas com deficiência desde a investigação.
A agência CNAF, responsável pela distribuição de assistência financeira, incluindo habitação, invalidez e benefícios infantis, não respondeu imediatamente a um pedido de comentário ou à pergunta da WIRED sobre se o algoritmo atualmente em uso mudou significativamente em relação à versão de 2014.
Tal como em França, os grupos de defesa dos direitos humanos noutros países europeus argumentam que submetem os membros da sociedade com baixos rendimentos a uma vigilância extrema – muitas vezes com consequências profundas.
Quando dezenas de milhares de pessoas nos Países Baixos – muitas delas do interior Gana comunidade – foram falsamente acusados de fraudar o sistema de benefícios infantis, eles não foram apenas obrigados a devolver o dinheiro que o algoritmo supostamente roubou. Muitos deles afirmam que também ficam com dívidas crescentes e classificações de crédito arruinadas.
O problema não é a concepção do algoritmo, mas a sua utilização no sistema de saúde, diz Soizik Penikot, professor de política de IA na Sciences Po Paris, que anteriormente trabalhou para o governo francês na transparência dos algoritmos do sector público. “O uso de algoritmos no contexto da política social apresenta mais riscos do que benefícios”, diz ela. “Não vi nenhum exemplo na Europa ou no mundo onde estes sistemas tenham sido utilizados com resultados positivos”.
O caso afeta fora da França. Espera-se que os algoritmos de bem-estar sejam um primeiro teste de como as novas regras de IA da UE serão implementadas depois de entrarem em vigor em fevereiro de 2025. Desde então, a “pontuação social” – o uso de sistemas de IA para avaliar o comportamento das pessoas – e depois submeteu algumas delas a ela. ao tratamento prejudicial é proibido do outro lado do quarteirão.
Matthias Spilkamp, cofundador da organização sem fins lucrativos Algorithm Watch, diz: “Muitos desses sistemas sociais que detectam essa fraude, na minha opinião, podem na verdade ter valor social”. No entanto, os representantes do sector público provavelmente discordarão desta definição – com argumentos sobre como definir estes sistemas provavelmente acabarão em tribunal. “Acho que é uma questão muito difícil”, diz Spielkamp.
