há algo de profundamente irritante na maneira como as big techs lidam com os próprios erros. elas querem administrar nossas conversas, nossas informações, nossas imagens e uma parte cada vez maior daquilo que vemos do mundo. mas, quando fazem alguma coisa questionável, aparece uma inteligência artificial extremamente educada explicando que tudo não passou de um pequeno mal-entendido.
a tecnologia é revolucionária. a desculpa é a mesma de qualquer empresa aérea que perdeu sua mala.
resolvi testar a inteligência artificial da meta dentro do whatsapp. pedi uma imagem de lula com o número 13. recusou. pedi uma imagem de flávio bolsonaro com o número 22. recusou também. tentei os dois nomes sem números. novas negativas. pedi uma camiseta de campanha de flávio bolsonaro. outra recusa.
aparentemente, a meta tinha regras bastante rígidas para a criação de imagens políticas. ótimo. uma empresa que controla ferramentas usadas por milhões de brasileiros deveria mesmo tratar esse assunto com cuidado.
então pedi um gatinho candidato à presidência do brasil.
e a máquina, finalmente livre das perigosas ameaças representadas por seres humanos reais, resolveu colaborar.
produziu um gato alaranjado, sorridente, com faixa presidencial, bandeira brasileira e toda aquela decoração que faz uma campanha eleitoral parecer uma festa de aniversário infantil.
na parte inferior da imagem estava escrito: “vote 22”.
eu não tinha pedido número nenhum.
a meta não conseguiu gerar uma imagem dos políticos que mencionei, mas conseguiu colocar um número eleitoral numa propaganda que não solicitava qualquer identificação partidária.
e fez isso sozinha.
confesso que achei uma façanha. passamos anos discutindo se a inteligência artificial vai substituir jornalistas, artistas e programadores. aparentemente, já podemos acrescentar os marqueteiros políticos à lista. pelo menos os que trabalham com animais domésticos.
perguntei por que o gato estava fazendo campanha com o 22.
a resposta foi que aquele havia sido o último número mencionado na conversa. a máquina simplesmente aproveitou o histórico. nada de preferência política, nenhuma intenção de favorecer alguém. apenas uma escolha automática.
que maravilha.
uma das maiores empresas de tecnologia do planeta constrói um sistema que recusa pedidos políticos por questões de segurança, mas permite que o mesmo sistema recupere espontaneamente um número eleitoral e o coloque numa imagem de campanha.
e a explicação é que a máquina se lembrou da conversa.
se esse é o funcionamento esperado, o problema é sério. se não é, também.
quando insisti, a inteligência artificial reconheceu que eu não havia pedido número algum. admitiu que poderia ter usado o 13, o 22 ou qualquer outro. concordou que o correto teria sido produzir o gato sem identificação eleitoral.
depois pediu desculpas.
é impressionante como conseguimos construir máquinas capazes de gerar imagens em segundos, mas ainda não encontramos uma maneira de impedir que elas se comportem como um departamento de relações públicas diante de um constrangimento.
primeiro negam. depois explicam. depois concordam com o cliente. por fim, oferecem refazer o trabalho e esperam que o assunto morra ali.
só faltou a meta me mandar uma pesquisa de satisfação.
mas o que mais me incomodou não foi o número. foi a facilidade com que a empresa, por meio de sua inteligência artificial, conseguiu transformar uma decisão que partiu do próprio sistema numa responsabilidade difusa, quase impossível de localizar.
a máquina escolheu. a máquina explicou. a máquina reconheceu o erro. a máquina pediu desculpas.
e a empresa?
a empresa continua confortavelmente escondida atrás da máquina.
esse é o truque mais conveniente da inteligência artificial corporativa. quando tudo funciona, a inovação é da empresa. quando alguma coisa dá errado, a culpa parece ser de uma entidade misteriosa chamada algoritmo, como se ele tivesse surgido espontaneamente na natureza, ao lado dos cogumelos e dos mosquitos.
algoritmos não aparecem por geração espontânea. alguém desenvolve os sistemas, estabelece limites, define políticas, escolhe dados, aprova produtos e decide colocá-los nas mãos de milhões de pessoas.
a responsabilidade por essas decisões ndesaparece porque o software aprendeu a pedir desculpas.
e antes que alguém diga que estou exagerando por causa de um desenho de gato, vale lembrar que não estamos falando de um aplicativo desconhecido criado por três estudantes numa garagem. estamos falando da meta. dona do whatsapp, do instagram e do facebook. uma empresa com recursos suficientes para construir sistemas extraordinariamente sofisticados e influência suficiente para participar, direta ou indiretamente, de boa parte da circulação de informações no brasil.
quando uma empresa desse tamanho coloca uma ferramenta de inteligência artificial dentro de um aplicativo usado diariamente por milhões de pessoas, ela assume uma responsabilidade proporcional ao alcance que conquistou.
não deveria ser necessário explicar isso.
mas aparentemente chegamos a uma época em que as empresas querem o poder de uma infraestrutura pública e a responsabilidade de um aplicativo de figurinhas.
a meta decide quais conteúdos suas ferramentas podem gerar. decide quais pedidos serão recusados. define regras de segurança e estabelece como seus sistemas devem responder a assuntos sensíveis. são escolhas corporativas, feitas por uma empresa privada que tem interesses comerciais, executivos, acionistas e objetivos próprios.
não existe nada de místico nisso.
o problema começa quando essas escolhas passam a interferir no ambiente político e a empresa espera que todos aceitem suas explicações sem questionar.
não estou afirmando que meu experimento prove uma operação deliberada para favorecer determinado candidato. não prova. seria intelectualmente desonesto transformar um único resultado numa acusação dessa dimensão.
mas também seria uma ingenuidade monumental aceitar que, por não haver prova de intenção deliberada, não exista problema algum.
essa é uma confusão muito conveniente para as big techs. parece que só podemos questionar suas decisões depois de descobrir um plano secreto, uma troca de mensagens comprometedora ou um executivo confessando alguma coisa diante de uma câmera.
enquanto isso não acontece, devemos aceitar que tudo foi um acidente tecnológico.
desculpem, mas não funciona assim.
se um banco transfere dinheiro para a conta errada, não basta explicar que o sistema se confundiu. se uma companhia aérea vende o mesmo assento para duas pessoas, não adianta dizer que foi uma inconsistência do algoritmo. se um laboratório entrega um resultado trocado, ninguém considera o assunto resolvido porque o computador não teve intenção de prejudicar o paciente.
por que deveríamos adotar um padrão tão mais generoso quando o assunto é uma empresa capaz de produzir e distribuir conteúdo político?
a resposta, suspeito, tem menos a ver com tecnologia e mais com o tamanho do poder que aprendemos a tolerar.
a meta já está presente nas nossas conversas pessoais, nos grupos de família, nas discussões de trabalho, nas notícias que recebemos e nas imagens que compartilhamos. agora também oferece uma inteligência artificial que responde perguntas e cria conteúdos dentro desse mesmo ambiente.
não é pouca coisa.
e não estamos falando apenas de propaganda eleitoral explícita. influência também pode acontecer quando uma ferramenta escolhe o que mostrar, o que omitir, o que destacar e o que acrescentar. não significa que cada escolha tenha sido planejada para produzir determinado efeito político. significa que os efeitos dessas escolhas merecem fiscalização, especialmente quando acontecem em escala.
o meu gato não vai decidir uma eleição. mas o comportamento do sistema que o produziu levanta uma pergunta perfeitamente legítima sobre os critérios usados pela empresa.
por que um pedido com pessoas reais e números eleitorais foi recusado, mas um pedido genérico com um gato recebeu espontaneamente um número associado a uma candidatura?
a resposta “foi o último número da conversa” pode ser plausível. mas não é uma explicação técnica verificável. é uma frase produzida pela própria inteligência artificial depois de ser questionada.
e essa é outra parte do absurdo.
estamos aceitando que uma máquina explique seu próprio comportamento como se tivesse acesso completo às razões pelas quais produziu determinada resposta. não necessariamente tem. pode estar apenas gerando uma narrativa convincente, assim como faz quando responde sobre tantos outros assuntos.
é como pedir ao garçom que investigue a intoxicação alimentar e aceitar como laudo a afirmação de que a cozinha não teve intenção de fazer mal a ninguém.
muito reconfortante. especialmente enquanto você procura um banheiro.
o que deveria incomodar não é apenas a possibilidade de um viés político. é a falta de condições para verificar o que realmente aconteceu.
porque uma empresa não demonstra imparcialidade simplesmente afirmando que é imparcial. muito menos colocando essa afirmação na boca de um chatbot.
se a meta quer que seus sistemas sejam considerados confiáveis em assuntos eleitorais, deveria conseguir demonstrar consistência nos resultados, explicar seus critérios e permitir que falhas sejam examinadas de maneira independente.
não deveria depender da paciência de um usuário disposto a discutir com uma inteligência artificial até ela finalmente admitir que o gato não precisava de número.
e existe uma ironia particularmente desagradável nessa história.
as big techs passaram anos defendendo a ideia de que a tecnologia tornaria a informação mais acessível, as pessoas mais conectadas e o mundo mais aberto. conseguiram, sem dúvida, transformar profundamente a maneira como nos comunicamos.
mas também concentraram uma quantidade extraordinária de poder em empresas que não foram eleitas por ninguém.
não estou sugerindo que plataformas privadas devam funcionar como governos. estou dizendo que, quando suas decisões afetam espaços importantes da vida pública, elas não podem esperar que a sociedade trate essas decisões como simples detalhes comerciais.
uma empresa pode ser privada e ainda assim precisar responder publicamente pelas consequências de seus produtos.
especialmente quando seus produtos estão presentes em praticamente todos os bolsos.
e talvez seja isso que mais me irrite nessa cultura tecnológica. a pretensão de que toda novidade merece confiança imediata, enquanto qualquer cobrança por responsabilidade é tratada como resistência ao progresso.
querem que acreditemos na inteligência artificial porque ela é poderosa, rápida e revolucionária. mas, quando ela produz algo questionável, somos convidados a lembrar que a tecnologia ainda está aprendendo.
curioso. para vender, é o futuro da humanidade. para responder pelos erros, ainda é uma criança.
no meu caso, a situação ficou registrada. tenho as mensagens, as recusas, a imagem gerada e as explicações contraditórias da própria ferramenta. não preciso inventar uma teoria sobre as intenções de mark zuckerberg para apontar o problema.
o sistema recusou pedidos políticos explícitos. depois acrescentou um número eleitoral a uma imagem que não precisava dele. e, quando foi questionado, ofereceu uma sequência de justificativas que terminou com o reconhecimento de que deveria ter agido de outra maneira.
isso é o que aconteceu.
e considero bastante razoável cobrar da meta algo melhor do que um pedido de desculpas automatizado.
porque a discussão não é se o gato deveria usar 13 ou 22. a discussão é por que uma empresa com tamanho poder sobre a informação permite que uma ferramenta acrescente símbolos eleitorais sem solicitação e depois trate a explicação produzida pela própria máquina como resposta suficiente.
não é suficiente.
não precisamos aceitar qualquer acusação contra as big techs. mas também não precisamos tratá-las como criaturas indefesas, permanentemente surpreendidas pelos sistemas que elas próprias colocaram no mundo.
a meta tem dinheiro, engenheiros, infraestrutura, equipes jurídicas, especialistas em segurança e recursos que a maioria das empresas jamais chegará perto de possuir.
pode perfeitamente ser cobrada como uma organização adulta.
no fim, pedi um gatinho presidente e recebi um pequeno cabo eleitoral.
a inteligência artificial disse que foi sem querer.
talvez tenha sido.
mas uma empresa desse tamanho não deveria precisar de um gato para descobrir que suas ferramentas podem produzir conteúdo político que ninguém solicitou.
o gato pode não saber o que está fazendo.
a meta tem obrigação de saber o que está colocando nas mãos de milhões de pessoas.