Algoritmos também podem ser usados para fins antiéticos?
Os algoritmos são amplamente utilizados para uma variedade de fins, desde a recomendação de produtos até a análise de dados. No entanto, muitas vezes esquecemos que eles também podem ser usados para fins antiéticos, como a discriminação e a perpetuação de preconceitos. Embora os algoritmos sejam considerados imparciais, eles podem refletir e até ampliar os preconceitos humanos subjacentes em seus dados e decisões. Além disso, muitas vezes são desenvolvidos sem levar em consideração os efeitos negativos principalmente em grupos marginalizados. É importante, portanto, estudar e entender os perigos potenciais dos algoritmos e garantir que seu uso seja ético e responsável. Neste post, discutiremos um exemplo de como os algoritmos foram usados para fins antiéticos e que princípios do Código de Ética da ACM ele viola.
Em 2018, a Reuters publicou uma matéria que revelou que a Amazon havia desenvolvido um sistema de recrutamento baseado em inteligência artificial que tinha como objetivo selecionar candidatos para entrevistas de emprego. No entanto, o algoritmo acabou discriminando mulheres, tornando o processo de recrutamento injusto e tendencioso.
Segundo a reportagem, o algoritmo aprendeu a identificar padrões de sucesso entre os candidatos que já haviam passado pelo processo seletivo da Amazon, que historicamente havia sido dominado por homens. Como resultado, o sistema começou a dar notas mais baixas para os currículos que continham palavras como “mulheres” e “feminismo”, o que automaticamente desqualificava as candidatas femininas. Esse exemplo mostra que, se não forem projetados e usados de forma cuidadosa, os algoritmos podem perpetuar preconceitos e discriminações.
Esse caso envolve a violação de diversos mandamentos do Código de Ética da ACM, incluindo o mandamento 1.2 (“evitar discriminação ou favorecimento indevido”), o mandamento 1.4 (“ser honesto e realista ao anunciar ou apresentar credenciais, produtos ou serviços”), o mandamento 2.1 (“não prejudicar as pessoas”) e o mandamento 3.3 (“garantir que os produtos e sistemas entregues não comprometam a privacidade dos usuários, danifique sistemas ou outros bens, ou coloquem as pessoas em risco físico ou emocional”).