Eric Zompero – Arquiteto | Designer | Educador
Professor Universitário – Graduação e Pós-graduação.
URM – Universidade Roberto Miranda. São Paulo, SP.
QZA – Arquitetura, Design e Consultoria
eric@qza.com.br
Artigo realizado para o curso: Inteligência Artificial: Desafios, Regulação e Governança, SENAC, SP. Professor Alexandre dos Santos Mignon
Resumo:
Em 2019 uma postagem em uma mídia social falava sobre as diferenças significativas nos limites de crédito oferecidos a homens e mulheres do Apple Card. Esse incidente levantou acusações de preconceito de gênero pelo sistema de IA, destacando a importância das considerações éticas nos serviços financeiros baseados em IA.
Palavras-chave: IA. Inteligência Artificial. Artificial Inteligence. Tecnologia da Informação.
#ia #ai #inteligenciaartificial #artificialinteligence #tecnologiadainformacao #tecnologia
(TEXTO REALIZADO COM AUXÍLIO DE IA)– Bibliografia, tradução, correção de textos, busca de fontes, resumos e referências.
I. Histórico.
O caso envolvendo o Apple Card e David Heinemeier Hansson ganhou destaque em novembro de 2019, quando o desenvolvedor de software dinamarquês usou o Twitter para denunciar uma possível discriminação de gênero no algoritmo do Apple Card. Hansson relatou que recebeu um limite de crédito 20 vezes maior do que o de sua esposa, apesar de ela ter uma pontuação de crédito superior.
Figura : POST DE HANSSON NO TWITTER
(fonte: https://www.sbs.com.au/news/article/apple-credit-card-to-be-investigated-over-alleged-gender-discrimination/2kkvtkmt1 )
Tradução: Apple Card é “sexista”. “Minha esposa e eu enviamos declarações fiscais conjuntas, temos um regime de comunhão parcial de bens e somos casados há muito tempo. No entanto, o algoritmo da Apple acha que mereço 20 vezes o limite de crédito que ela merece.
A situação rapidamente chamou a atenção da mídia e das autoridades reguladoras. Hansson não foi o único a levantar preocupações; Steve Wozniak, cofundador da Apple, também afirmou que ele e sua esposa enfrentaram uma disparidade semelhante em seus limites de crédito (Terra, 2019). Essas alegações levaram o Departamento de Serviços Financeiros do Estado de Nova York a abrir uma investigação para determinar se o algoritmo do Apple Card, desenvolvido pelo Goldman Sachs, estava de fato discriminando mulheres.
O Goldman Sachs, por sua vez, negou qualquer discriminação intencional e afirmou que os limites de crédito eram determinados individualmente, com base em uma série de fatores que não incluíam o gênero. No entanto, a controvérsia levantou questões importantes sobre a transparência e a equidade dos algoritmos de crédito, especialmente aqueles usados por grandes instituições financeiras.
Em março de 2021, após uma investigação detalhada, o Departamento de Serviços Financeiros de Nova York concluiu que não havia evidências de discriminação de gênero no algoritmo do Apple Card. Apesar disso, o caso destacou a necessidade de maior supervisão e regulamentação dos sistemas de inteligência artificial, para garantir que eles operem de maneira justa e transparente.
O incidente também serviu como um alerta para outras empresas que utilizam algoritmos em processos de tomada de decisão financeira. A transparência nos critérios usados por esses algoritmos e a capacidade de revisar e contestar decisões automatizadas são essenciais para evitar preconceitos e garantir a confiança dos consumidores.
II. Opacidade e suas causas
A opacidade nas inteligências artificiais (IA) refere-se à dificuldade de entender e interpretar os processos internos e as decisões tomadas por sistemas de IA. Este fenômeno, muitas vezes chamado de “caixa-preta”, levanta preocupações significativas em diversas áreas, incluindo ética, segurança, responsabilidade e no caso do Apple Card resoluções sexistas.
A opacidade das IAs levanta questões éticas importantes. Por exemplo, em sistemas de IA utilizados para decisão de liberação de cartões como o Apple Card, a falta de transparência pode levar a decisões injustas ou errôneas. A incapacidade de explicar essas decisões pode minar a confiança pública e dificultar a responsabilização.
A opacidade também afeta a segurança e a confiabilidade dos sistemas de IA. Sem uma compreensão clara dos processos internos, é difícil prever como uma IA reagirá em situações inesperadas ou adversas. A falta de transparência complica a atribuição de responsabilidade em casos de falhas ou danos causados por IAs. Reguladores e legisladores enfrentam desafios ao tentar criar normas que garantam a segurança e a justiça sem sufocar a inovação. A necessidade de um equilíbrio entre transparência e proteção de propriedade intelectual é um tema recorrente.
Assim, percebe-se a opacidade nas IAs como um desafio que requer a colaboração de cientistas, engenheiros, legisladores e a sociedade em geral. Avanços em IA explicável e regulamentações adequadas são essenciais para garantir que os benefícios das IAs sejam plenamente realizados, minimizando os riscos associados à falta de transparência.
III. Controvérsias? Soluções?
Em um relatório do New York Department of Financial Services, de março de 2021, sobre alegações de discriminação de gênero no Apple Card, emitido pelo Goldman Sachs. Foi negada qualquer discriminação, afirmando que os limites de crédito são determinados por um algoritmo que não considera o gênero. A entidade financeira concluiu que não havia evidências de discriminação intencional, mas recomendou melhorias na transparência e na comunicação com os clientes. O artigo também menciona a importância de garantir que os algoritmos usados em serviços financeiros sejam justos e não discriminatórios.
De qualquer forma, considerando a possibilidade de interpretações errôneas por IAs, é possível traçar possíveis soluções, combatendo o que poderia ser considerado “preconceito” por parte dos logaritmos dessas Inteligências artificiais.
Solomon Radley em artigo publicado em 2019 traça algumas questões, reproduzidas a seguir:
O primeiro passo para eliminar vieses significativos geralmente é identificar possíveis “lacunas” em um determinado conjunto de dados que podem ser equilibrados para torná-lo mais representativo da população que deve representar.
“Nos casos de, por exemplo, algoritmos de reconhecimento facial, eles são muito bons em homens brancos”, explica Power. “Eles não são tão bons em mulheres negras. Então, nesse caso, a resposta é que você precisa de mais dados.”
Também é importante considerar uma pluralidade de perspectivas e pontos de vista ao desenvolver um modelo preditivo e tomar medidas para pesquisar e eliminar vieses que conseguem se infiltrar. Isso pode ajudar a equipe a identificar seus pontos cegos e evitar a criação de seus próprios preconceitos no software.
“A equipe precisa ser diversificada”, diz Connie Zhang, diretora de dados e análises dos EUA, Agricultural Bank of China. “Infelizmente, muitas pessoas de dados são [de] um tipo semelhante.”
(RADLEY., 2019)
IV. Conclusão.
O caso do Apple Card destaca a importância ética da IA nos serviços financeiros, particularmente na alocação de crédito. Os vieses sexuais, étnicos, religiosos, sociais, ou qualquer que seja, pode ter algumas consequências, limitando o acesso das pessoas aos recursos econômicos e potencialmente ampliando as desigualdades sociais. Uma grande preocupação ética no incidente do Apple Card foi a falta de transparência. O processo de tomada de decisão do sistema de IA não estava oferecendo uma explicação clara para as disparidades nos limites de crédito. Isso deixou os usuários inconscientes de como as decisões foram tomadas, dificultando a contestação ou correção de resultados tendenciosos.
O caso do Apple Card fala sobre a preocupação com a transparência e a responsabilidade nos sistemas de IA. Uma vez que a máquina se mostre tendenciosa ou propensa a erros, deve ser possível pelo menos explicar como a decisão foi tomada por um sistema de IA e corrigir os problemas rapidamente.
Os sistemas de IA devem implicar a incorporação de justiça, transparência e responsabilidade no processo, oferecendo igualdade para todos os usuários. Auditorias regulares de logaritmos, combinadas com explicações transparentes das decisões da IA, devem trazer confiança aos produtos financeiros orientados por IA.
O incidente do Apple Card é um exemplo dramático das implicações do viés da IA no mundo real e um alerta para as indústrias que usam IA em áreas sensíveis, como finanças. É com o desenvolvimento da IA no setor bancário que mais salvaguardas éticas precisam ser implementadas, garantindo que, em vez de perpetuar as desigualdades existentes, isso contribua para serviços financeiros mais justos e inclusivos.
V. Referências.
S. VAIDEHI. The Apple Card: A Case Study in AI Bias and Ethics in Banking. Medium, 2023. Disponível em: https://medium.com/@vaidehis.s2300/the-apple-card-a-case-study-in-ai-bias-and-ethics-in-banking-83bcfd3caa56. Acesso em: 29 set. 2024.
TERRA. Co-fundador da Apple diz que Apple Card deu à sua esposa limite de crédito mais baixo. 11 nov. 2019. Disponível em:https://www.terra.com.br/byte/co-fundador-da-apple-diz-que-apple-card-deu-a-sua-esposa-limite-de-credito-mais-baixo,d79fb6fb33ef2e09706c5bd143ba894ftctv6gyo.html#google_vignette. Acesso em: 29 set. 2024.
TERADATA. What the Apple Card controversy says about our AI future. Teradata, 2023. Disponível em: https://www.teradata.com/blogs/what-the-apple-card-controversy-says-about-our-ai-future. Acesso em: 29 set. 2024.
DESIGN NEWS. The Apple Card Is the Most High-Profile Case of AI Bias Yet. Disponível em: https://www.designnews.com/artificial-intelligence/the-apple-card-is-the-most-high-profile-case-of-ai-bias-yet . Acesso em: 29 set. 2024.
THEVERGE. Goldman Sachs says Apple Card algorithm does not discriminate against women. The Verge, 23 mar. 2021. Disponível em:
https://www.theverge.com/2021/3/23/22347127/goldman-sachs-apple-card-no-gender-discrimination. Acesso em: 29 set. 2024.
RADLEY, Salomon. Apple Card: Data Ethics. Corinium Intelligence, 2023. Escrito em 12 de dezembro de 2019. Disponível em: https://www.coriniumintelligence.com/insights/apple-card-data-ethics. Acesso em: 29 set. 2024.
