A noção de que a inteligência synthetic nos ajudará a nos preparar para o mundo de amanhã está entretecida em nossas fantasias coletivas. Com base no que vimos até agora, no entanto, a IA parece muito mais capaz de repetir o passado do que prever o futuro.
Isso porque os algoritmos de IA são treinados em dados. Por sua própria natureza, os dados são um artefato de algo que aconteceu no passado. Você virou à esquerda ou à direita. Você subiu ou desceu as escadas. Seu casaco period vermelho ou azul. Você pagou a conta de luz em dia ou com atraso.
Os dados são uma relíquia — mesmo que tenham apenas alguns milissegundos. E é seguro dizer que a maioria dos algoritmos de IA são treinados em conjuntos de dados significativamente mais antigos. Além da antiguidade e da precisão, você precisa considerar outros fatores, como quem coletou os dados, onde os dados foram coletados e se o conjunto de dados está completo ou se há dados ausentes.
Não existe um conjunto de dados perfeito – na melhor das hipóteses, é um reflexo distorcido e incompleto da realidade. Quando decidimos quais dados usar e quais dados descartar, somos influenciados por nossos preconceitos inatos e crenças pré-existentes.
“Suponha que seus dados sejam um reflexo perfeito do mundo. Isso ainda é problemático, porque o próprio mundo é tendencioso, certo? Então agora você tem a imagem perfeita de um mundo distorcido”, diz Julia Stoyanovich, professora associada de ciência da computação e engenharia da NYU Tandon e diretor na Centro de IA responsável na NYU.
A IA pode nos ajudar a reduzir os vieses e preconceitos que se insinuam em nossos conjuntos de dados ou apenas os amplificará? E quem determina quais preconceitos são toleráveis e quais são realmente perigosos? Como o preconceito e a justiça estão ligados? Toda decisão tendenciosa produz um resultado injusto? Ou a relação é mais complicada?
As conversas de hoje sobre o viés da IA tendem a se concentrar em questões sociais de alta visibilidade, como racismo, sexismo, preconceito de idade, homofobia, transfobia, xenofobia e desigualdade econômica. Mas existem dezenas e dezenas de vieses conhecidos (por exemplo, viés de confirmação, viés de retrospectiva, viés de disponibilidade, viés de ancoragem, viés de seleção, viés de aversão à perda, viés de outlier, viés de sobrevivência, viés de variável omitida e muitos, muitos outros). Jeff Desjardins, fundador e editor-chefe da Capitalista visiblepublicou um infográfico fascinante descrevendo 188 vieses cognitivos – e esses são apenas os que conhecemos.
Ana Chubinidze, fundadora da Adalan AI, uma startup de governança de IA com sede em Berlim, teme que as IAs desenvolvam seus próprios vieses invisíveis. Atualmente, o termo “viés de IA” refere-se principalmente a preconceitos humanos incorporados em dados históricos. “As coisas ficarão mais difíceis quando as IAs começarem a criar seus próprios vieses”, diz ela.
Ela prevê que as IAs encontrarão correlações nos dados e assumirão que são relações causais – mesmo que essas relações não existam na realidade. Think about, diz ela, um sistema edtech com uma IA que faz perguntas cada vez mais difíceis aos alunos com base em sua capacidade de responder perguntas anteriores corretamente. A IA desenvolveria rapidamente um viés sobre quais alunos são “inteligentes” e quais não são, embora todos saibamos que responder perguntas corretamente pode depender de muitos fatores, incluindo fome, fadiga, distração e ansiedade.
No entanto, os alunos “mais inteligentes” da edtech AI receberiam perguntas desafiadoras e o restante receberia perguntas mais fáceis, resultando em resultados de aprendizado desiguais que podem não ser percebidos até o last do semestre – ou podem nem ser notados. Pior ainda, o viés da IA provavelmente encontraria seu caminho no banco de dados do sistema e seguiria os alunos de uma aula para outra.
Embora o exemplo da edtech seja hipotético, houve casos suficientes de viés de IA no mundo actual para justificar o alarme. Em 2018, Reuters relatou que a Amazon havia descartado uma ferramenta de recrutamento de IA que havia desenvolvido um viés contra candidatas do sexo feminino. Em 2016, o chatbot Tay da Microsoft foi desligar depois de fazer comentários racistas e sexistas.
Talvez eu tenha assistido muitos episódios de “The Twilight Zone” e “Black Mirror”, porque é difícil para mim ver bem esse last. Se você tiver alguma dúvida sobre o poder praticamente inesgotável de nossos bias, leia Pensando, rápido e lento pelo Prêmio Nobel Daniel Kahneman. Para ilustrar nossa suscetibilidade ao viés, Kahneman nos pede para imaginar um bastão e uma bola de beisebol sendo vendidos por US$ 1,10. O bastão, ele nos diz, custa um dólar a mais do que a bola. Quanto custa a bola?
Como seres humanos, tendemos a favorecer soluções simples. É um viés que todos nós compartilhamos. Como resultado, a maioria das pessoas pulará intuitivamente para a resposta mais fácil – que o bastão custa um dólar e a bola custa dez centavos – mesmo que essa resposta esteja errada e apenas alguns minutos de reflexão revelarão a resposta correta. Na verdade, fui procurar um pedaço de papel e uma caneta para poder escrever a equação de álgebra – algo que não fazia desde o nono ano.
Nossos preconceitos são difundidos e onipresentes. Quanto mais granulares nossos conjuntos de dados se tornarem, mais eles refletirão nossos vieses arraigados. O problema é que estamos usando esses conjuntos de dados tendenciosos para treinar algoritmos de IA e, em seguida, usar os algoritmos para tomar decisões sobre contratação, admissão em faculdades, credibilidade financeira e alocação de recursos de segurança pública.
Também estamos usando algoritmos de IA para otimizar cadeias de suprimentos, rastrear doenças, acelerar o desenvolvimento de medicamentos que salvam vidas, encontrar novas fontes de energia e pesquisar o mundo em busca de materiais nucleares ilícitos. À medida que aplicamos a IA mais amplamente e lidamos com suas implicações, fica claro que o preconceito em si é um termo escorregadio e impreciso, especialmente quando é confundido com a ideia de injustiça. Só porque uma solução para um determinado problema parece “imparcial” não significa que seja justa e vice-versa.
“Realmente não existe uma definição matemática para justiça”, diz Stoyanovich. “As coisas que falamos em geral podem ou não se aplicar na prática. Quaisquer definições de preconceito e imparcialidade devem ser fundamentadas em um domínio específico. Você tem que perguntar: ‘Quem a IA impacta? Quais são os danos e quem é prejudicado? Quais são os benefícios e quem se beneficia?’”
A atual onda de exageros em torno da IA, incluindo a polêmica sobre o ChatGPT, gerou expectativas irrealistas sobre os pontos fortes e as capacidades da IA. “Tomadores de decisão seniores geralmente ficam chocados ao saber que a IA falhará em tarefas triviais”, diz Angela Sheffield, especialista em não proliferação nuclear e aplicações de IA para segurança nacional. “Coisas que são fáceis para um humano geralmente são muito difíceis para uma IA.”
Além da falta de bom senso básico, observa Sheffield, a IA não é inerentemente neutra. A noção de que a IA se tornará justa, neutra, prestativa, útil, benéfica, responsável e alinhada com os valores humanos se simplesmente eliminarmos o viés é um pensamento fantasioso. “O objetivo não é criar IA neutra. O objetivo é criar IA ajustável”, diz ela. “Em vez de fazer suposições, devemos encontrar maneiras de medir e corrigir o viés. Se não lidarmos com um viés ao construir uma IA, isso afetará o desempenho de maneiras que não podemos prever.” Se um conjunto de dados tendencioso torna mais difícil reduzir a disseminação de armas nucleares, isso é um problema.
Gregor Stühler é cofundador e CEO da Scoutbee, uma empresa com sede em Würzburg, na Alemanha, especializada em tecnologia de aquisição orientada por IA. Do seu ponto de vista, conjuntos de dados tendenciosos tornam mais difícil para as ferramentas de IA ajudar as empresas a encontrar bons parceiros de sourcing. “Vamos imaginar um cenário em que uma empresa deseja comprar 100.000 toneladas de alvejante e está procurando o melhor fornecedor”, diz ele. Os dados do fornecedor podem ser tendenciosos de várias maneiras e uma pesquisa assistida por IA provavelmente refletirá os vieses ou imprecisões do conjunto de dados do fornecedor. No cenário de alvejante, isso pode resultar na substituição de um fornecedor próximo por um fornecedor maior ou mais conhecido em um continente diferente.
Do meu ponto de vista, esses tipos de exemplos apóiam a ideia de gerenciar problemas de viés de IA no nível do domínio, em vez de tentar conceber uma solução common ou abrangente de cima para baixo. Mas essa é uma abordagem muito simples?
Por décadas, a indústria de tecnologia evitou questões morais complexas invocando a filosofia utilitarista, que postula que devemos nos esforçar para criar o maior bem para o maior número de pessoas. Em A Ira de Khan, Spock diz: “As necessidades de muitos superam as necessidades de poucos”. É uma declaração simples que captura o espírito utilitário. Com todo o respeito ao Sr. Spock, no entanto, não leva em conta que as circunstâncias mudam com o tempo. Algo que parecia maravilhoso para todos ontem pode não parecer tão maravilhoso amanhã.
Nossa paixão atual pela IA pode passar, assim como nosso gosto por combustíveis fósseis foi temperado por nossas preocupações com as mudanças climáticas. Talvez o melhor curso de ação seja assumir que toda IA é tendenciosa e que não podemos simplesmente usá-la sem considerar as consequências.
“Quando pensamos em construir uma ferramenta de IA, devemos primeiro nos perguntar se a ferramenta é realmente necessária aqui ou se um humano deveria estar fazendo isso, especialmente se queremos que a ferramenta de IA preveja o que equivale a um resultado social”, diz Stoyanovich. “Precisamos pensar nos riscos e em quanto alguém seria prejudicado quando a IA cometesse um erro.”
Nota da autora: Julia Stoyanovich é coautora de um história em quadrinhos de cinco volumes sobre IA que pode ser baixado gratuitamente no GitHub.