A promessa exagerada da assim chamada mineração de dados não-forçada


Richard Feynman, ganhador do prêmio Nobel, certa vez pediu a seus alunos do Caltech que calculassem a probabilidade de que, se ele saísse da sala de aula, o primeiro carro do estacionamento tivesse uma placa específica, digamos 6ZNA74. Assumindo que cada número e letra são igualmente prováveis ​​e determinados de forma independente, os alunos estimaram a probabilidade de ser inferior a 1 em 17 milhões. Quando os alunos terminaram seus cálculos, Feynman revelou que a probabilidade correta era de 1: ele havia visto essa placa de matrícula a caminho da aula. Algo extremamente improvável não é improvável se isso já aconteceu.

A armadilha de Feynman – vasculhando dados por padrões sem qualquer ideia preconcebida do que se está procurando – é o calcanhar de Aquiles dos estudos baseados em mineração de dados. Encontrar algo incomum ou surpreendente depois de já ter ocorrido não é incomum nem surpreendente. É certo que os padrões serão encontrados e provavelmente serão enganosos, absurdos ou piores.

Em seu livro best-seller de 2001 Bom a grande, Jim Collins comparou 11 empresas que superaram o mercado de ações global nos últimos 40 anos para 11 empresas que não o fizeram. Ele identificou cinco características distintivas que as empresas de sucesso tinham em comum. "Nós não começamos este projeto com uma teoria para testar ou provar", gabou-se Collins. "Procuramos construir uma teoria a partir do zero, derivada diretamente da evidência".

Ele entrou na armadilha do Feynman. Quando olhamos para o passado em qualquer grupo de empresas, o melhor ou o pior, sempre podemos encontrar algumas características comuns, de modo que encontrá-las não prova nada. Após a publicação do Bom a grande, o desempenho das magníficas 11 ações da Collins tem sido claramente medíocre: cinco ações se saíram melhor do que o mercado de ações em geral, enquanto seis tiveram resultados piores.

Em 2011, o Google criou um programa de inteligência artificial chamado Google Flu que usava consultas de pesquisa para prever surtos de gripe. O programa de mineração de dados do Google analisou 50 milhões de consultas de pesquisa e identificou as 45 mais correlacionadas com a incidência da gripe. É mais um exemplo da armadilha de mineração de dados: um estudo válido especificaria as palavras-chave com antecedência. Depois de emitir seu relatório, o Google Flu superestimou o número de casos de gripe por 100 das próximas 108 semanas, em uma média de quase 100%. O Google Flu não faz mais previsões de gripe.

Um comerciante da Internet pensou que poderia aumentar sua receita mudando sua tradicional cor azul para uma cor diferente. Após várias semanas de testes, a empresa encontrou um resultado estatisticamente significativo: aparentemente, a Inglaterra ama a cerceta. Ao olhar para várias cores alternativas para uma centena de países, eles garantiram que encontrariam um aumento de receita para algumas cores em alguns países, mas não faziam a menor ideia se a teal venderia mais na Inglaterra. Acontece que, quando a cor da página da web da Inglaterra foi alterada para cerceta, a receita caiu.

Um experimento padrão de neurociência envolve mostrar a um voluntário em uma máquina de ressonância magnética várias imagens e fazer perguntas sobre as imagens. As medições são ruidosas, captando sinais magnéticos do ambiente e de variações na densidade do tecido adiposo em diferentes partes do cérebro. Às vezes eles perdem a atividade cerebral; às vezes eles sugerem atividade onde não há nenhum.

Um estudante de graduação de Dartmouth usou uma máquina de ressonância magnética para estudar a atividade cerebral de um salmão, como mostravam fotografias e faziam perguntas. A coisa mais interessante sobre o estudo não foi que um salmão foi estudado, mas que o salmão estava morto. Sim, um salmão morto comprado em um mercado local foi colocado na máquina de ressonância magnética, e alguns padrões foram descobertos. Havia inevitavelmente padrões – e eles eram invariavelmente sem sentido.

Em 2018, um professor de economia de Yale e um estudante de graduação calcularam as correlações entre as mudanças diárias nos preços do Bitcoin e centenas de outras variáveis ​​financeiras. Eles descobriram que os preços do Bitcoin estavam positivamente correlacionados com os retornos das ações nos setores de bens de consumo e de saúde, e que eles estavam negativamente correlacionados com os retornos das ações dos produtos fabricados e indústrias de mineração de metais. "Não damos explicações", disse o professor, "apenas documentamos esse comportamento". Em outras palavras, eles podem ter analisado as correlações dos preços do Bitcoin com centenas de listas de números de telefone e relatado as correlações mais altas.

O diretor do Food and Brand Lab da Cornell University escreveu (ou co-autorizou) mais de 200 artigos revisados ​​por pares e escreveu dois livros populares, que foram traduzidos para mais de 25 idiomas.

Em um post de 2016 intitulado “O estudante de graduação que nunca disse não”, ele escreveu sobre um estudante de doutorado que recebera dados coletados em um bufê italiano à vontade.

Correspondência por e-mail surgiu na qual o professor aconselhou o estudante a separar os clientes em “homens, mulheres, frequentadores do almoço, frequentadores de refeições, pessoas sentadas sozinhas, pessoas comendo grupos de 2 pessoas, pessoas comendo em grupos de 2 ou mais pessoas que pedem bebidas alcoólicas. , pessoas que pedem refrigerantes, pessoas que se sentam perto do bufê, pessoas sentadas longe, e assim por diante … ”Então ela podia olhar diferentes maneiras pelas quais esses subgrupos poderiam ser diferentes:“ # pedaços de pizza, # viagens, nível de preenchimento de prato, eles conseguiram sobremesa, eles pediram uma bebida, e assim por diante … ”

Ele concluiu que ela deveria “trabalhar duro, espremer um pouco de sangue desta pedra”. Nunca dizendo não, o estudante recebeu quatro trabalhos (agora conhecidos como “papéis de pizza”) publicados com o professor da Cornell como co-autor. O jornal mais famoso relatou que os homens comem 93% mais pizza quando comem com mulheres. Não acabou bem. Em setembro de 2018, um comitê da faculdade de Cornell concluiu que ele havia “cometido má conduta acadêmica em sua pesquisa”. Ele renunciou, com efeito em junho do ano seguinte.

Uma boa pesquisa começa com uma ideia clara do que alguém está procurando e espera encontrar. A mineração de dados apenas procura padrões e, inevitavelmente, encontra alguns.

O problema tornou-se endêmico hoje em dia, porque os computadores poderosos são tão bons em roubar o Big Data. Mineradores de dados encontraram correlações entre palavras no Twitter ou consultas de pesquisa do Google e atividades criminosas, ataques cardíacos, preços de ações, resultados de eleições, preços de Bitcoins e partidas de futebol. Você pode pensar que estou inventando esses exemplos. Eu não sou.

Há correlações ainda mais fortes com números puramente aleatórios. É a Big Data Hubris que pensa que as correlações mineradas por dados devem ser significativas. Encontrar um padrão incomum no Big Data não é mais convincente (ou útil) do que encontrar uma placa de licença incomum fora da sala de aula de Feynman.

Opinião WIRED publica peças escritas por colaboradores externos e representa uma ampla gama de pontos de vista. Leia mais opiniões aqui. Envie um op-ed em opinion@wired.com


Mais grandes histórias com fio