Fortalecendo a confiança na máquina

Jan 15, 2024

imagem anterior imagem seguinte

Os métodos probabilísticos de aprendizado de máquina estão se tornando ferramentas cada vez mais poderosas na análise de dados, informando uma série de decisões críticas em todas as disciplinas e aplicativos, desde a previsão de resultados eleitorais até a previsão do impacto de microcréditos no combate à pobreza.

Essa classe de métodos usa conceitos sofisticados da teoria da probabilidade para lidar com a incerteza na tomada de decisões. Mas a matemática é apenas uma peça do quebra-cabeça para determinar sua precisão e eficácia. Em uma análise de dados típica, os pesquisadores fazem muitas escolhas subjetivas, ou potencialmente introduzem erros humanos, que também devem ser avaliados para cultivar a confiança dos usuários na qualidade das decisões baseadas nesses métodos.

Para resolver esse problema, a cientista da computação do MIT Tamara Broderick, professora associada do Departamento de Engenharia Elétrica e Ciência da Computação (EECS) e membro do Laboratório de Sistemas de Informação e Decisão (LIDS), e uma equipe de pesquisadores desenvolveram um sistema de classificação — uma "taxonomia de confiança" — que define onde a confiança pode ser quebrada em uma análise de dados e identifica estratégias para fortalecê-la em cada etapa. Os outros pesquisadores do projeto são a professora Anna Smith, da Universidade de Kentucky, os professores Tian Zheng e Andrew Gelman, da Universidade de Columbia, e a professora Rachael Meager, da London School of Economics. A esperança da equipe é destacar preocupações que já são bem estudadas e aquelas que precisam de mais atenção.

Em seu artigo, publicado em fevereiro na Science Advances, os pesquisadores começam detalhando as etapas do processo de análise de dados em que a confiança pode ser quebrada: os analistas fazem escolhas sobre quais dados coletar e quais modelos, ou representações matemáticas, refletem mais de perto o real -problema de vida ou pergunta que eles pretendem responder. Eles selecionam algoritmos para ajustar o modelo e usam código para executar esses algoritmos. Cada uma dessas etapas apresenta desafios únicos em relação à construção de confiança. Alguns componentes podem ser verificados quanto à precisão de maneiras mensuráveis. "Meu código tem bugs?", por exemplo, é uma pergunta que pode ser testada em relação a critérios objetivos. Outras vezes, os problemas são mais subjetivos, sem respostas claras; os analistas são confrontados com várias estratégias para coletar dados e decidir se um modelo reflete o mundo real.

"O que eu acho legal em fazer essa taxonomia é que ela realmente destaca onde as pessoas estão se concentrando. Acho que muitas pesquisas naturalmente se concentram nesse nível de 'meus algoritmos estão resolvendo um problema matemático específico?' em parte porque é muito objetivo, mesmo que seja um problema difícil", diz Broderick.

"Acho que é muito difícil responder 'é razoável matematizar um importante problema aplicado de uma certa maneira?' porque de alguma forma está entrando em um espaço mais difícil, não é mais apenas um problema matemático."

Capturando a vida real em um modelo

O trabalho dos pesquisadores em categorizar onde a confiança é quebrada, embora possa parecer abstrato, está enraizado na aplicação no mundo real.

Meager, coautor do artigo, analisou se as microfinanças podem ter um efeito positivo em uma comunidade. O projeto se tornou um estudo de caso sobre onde a confiança pode ser quebrada e formas de reduzir esse risco.

À primeira vista, medir o impacto do microfinanciamento pode parecer uma tarefa simples. Mas, como qualquer análise, os pesquisadores enfrentam desafios em cada etapa do processo que podem afetar a confiança no resultado. O microfinanciamento – no qual indivíduos ou pequenas empresas recebem pequenos empréstimos e outros serviços financeiros em vez de serviços bancários convencionais – pode oferecer serviços diferentes, dependendo do programa. Para a análise, Meager reuniu conjuntos de dados de programas de microfinanças em países de todo o mundo, incluindo México, Mongólia, Bósnia e Filipinas.