“O pensamento estatístico um dia será tão necessário para a cidadania eficiente quanto a capacidade de ler e escrever.” — H. G .Wells

Quando pensamos em livros que passaram no teste do tempo geralmente pensamos em grandes obras de ficção. Mas “Como mentir com estatística”, de Darrel Huff, pode muito bem ser um desses por ter sua relevância intacta desde 1954, quando foi lançado.

É um livro comum de se ver em listas de “livros que todo cientista/analista de dados deve ler”, mas isso é uma injustiça: o livro pode ser facilmente lido por qualquer audiência, técnica ou não, e esse é um de seus grandes triunfos. A exemplo de “Rápido e Devagar”, de Daniel Kahneman, também nos faz questionar a forma como interpretamos o mundo e mostra-nos que, muitas vezes, a lente que usamos para enxergá-lo é turva.

O mérito do livro está tanto na forma quanto no conteúdo. A forma se traduz em um livro leve, curto, com ótimas ilustrações de Irving Geis, que assina o livro como co-autor e é escrito com bom humor. A começar pelo título do livro, que não pretende de fato ensiná-lo a mentir e sim como nos defender das mentiras que nos cercam e que supostamente se alicerçam no uso da estatística. Citando a analogia do próprio autor:

“Talvez eu possa justificá-lo [o livro] como faria um ladrão aposentado, cujas memórias publicadas equivalem a um curso de pós-graduação sobre como arrombar um cadeado e andar por aí sem ser notado: os trambiqueiros já conhecem esses truques; os homens honestos precisam aprendê-los para se defenderem”.

O autor aborda alguns dos principais usos incorretos de conceitos estatísticos a partir de exemplos do jornalismo, propaganda, pesquisas de opinião e científicas e que são resumidas no capítulo final com um passo a passo sugerido pelo autor de como se defender ao se deparar com tais estatísticas:

1. Quem está falando?
2. Como ele sabe?
3. O que está faltando?
4. Alguém mudou de assunto?
5. Isso faz sentido?

Quem está falando?

Sobre alguns dos conceitos que o livro aborda, o primeiro deles trata de amostragem. Quando vamos fazer algum tipo de pesquisa como, por exemplo, avaliar intenções de voto em políticos, é impossível entrevistar populações inteiras. No Brasil isso representa centenas de milhões de habitantes — o universo da pesquisa, em linguagem estatística. Então, o que é feito é uma amostragem da população. Essa amostragem precisa ser representativa da população em suas diversas características, como raça, escolaridade, faixa etária, entre outros. Além disso, deve ser aleatória para reduzir ao máximo a presença de vieses.

Fica claro que é um processo extremamente custoso. A própria entrevista em si é sujeita a alguns vieses como a forma com que a pergunta é feita, dependendo de qual trecho é ou não enfatizado. Por isso institutos de pesquisa sérios investem em capacitação dos entrevistadores e na geração das perguntas para garantir imparcialidade. São em casos como esse que as perguntas “Quem está falando?” e “Como ele sabe?” tornam-se importantes. Citando o livro novamente: “Nenhuma conclusão de que ‘67% dos americanos são contra’ isso ou aquilo deve ser lida sem a pergunta: 67% de quais americanos?”.

Um exemplo recente: em agosto de 2023 uma pesquisa gerou polêmica nas redes sociais, especialmente no LinkedIn. Um paper de pesquisadores do MIT afirmava que a produtividade de trabalhadores remotos era de 18% menor do que quem trabalhava no escritório. Com base apenas na manchete, muitas pessoas passaram a compartilhar o artigo para alegar o trabalho remoto é improdutivo. Porém ao ler o estudo pode-se verificar que a amostra estudada era de trabalhadores recém-contratados na Índia que foram designados aleatoriamente para trabalhar em casa ou no escritório. O trabalho deles consistia em manualmente fazer entrada de dados em um determinado sistema. Fazendo-se a pergunta “18% de quem?” temos que o número encontrado de 18% é relativo às pessoas indianas no escritório que conseguiram digitar entradas corretas por minuto, 18% a mais do que quem estava casa. Sabendo-se disso fica mais difícil querer generalizar para a população trabalhadora como um todo.

O que está faltando?

A estatística nos provê algumas métricas excelentes para condensar informações em um único número: média, desvio padrão, variância. Ao mesmo tempo isso pode ser bom e ruim, já que se usarmos uma única métrica para resumirmos uma massa de dados provavelmente estamos deixando algum tipo de informação de fora. Por exemplo, se reportarmos a média, podemos estar omitindo uma informação importante sobre o intervalo de confiança daquela média, que é uma métrica importante para comparar médias, ou do desvio padrão, que pode nos indicar que a amostra tem alta variabilidade. Isso se relaciona com a terceira pergunta — “O que está faltando?”

Outros pontos explorados no livro são as visualizações que se valem de alterações na escala do gráfico para passar a impressão de grande variação nos dados, bem como do mantra constantemente (e sempre importante de) ser repetido de que “correlação não implica causalidade”, que servem de embasamento para as duas últimas perguntas da lista.

Todos esses temas são explorados no livro com exemplos do dia a dia, principalmente de jornais, revistas ou pesquisas de opinião. É um tema que se torna cada vez mais essencial, principalmente em uma era em que com informações e opiniões nos sendo bombardeadas o tempo todo via tweets, stories e posts de LinkedIn, torna-se fácil simplesmente tomar uma opinião como fato, quando na verdade a análise crítica do que vemos e lemos é mais essencial do que nunca.

Alguém mudou de assunto?

Um tópico crucial que Huff aborda é a detecção de desvios ou mudanças de assunto nas apresentações de dados estatísticos. Este aspecto é essencial, pois muitas vezes, nas comunicações, especialmente em debates políticos ou em publicidade, os dados são apresentados de uma maneira que sutilmente muda o foco da discussão original para um ponto que favoreça o apresentador. Huff ensina seus leitores a estarem atentos a essas manobras. Por exemplo, uma discussão sobre a eficácia de um medicamento pode rapidamente ser desviada para o seu sucesso de vendas, que é uma métrica irrelevante para a eficácia. Essa habilidade de perceber mudanças de assunto é crítica para manter o foco no que realmente importa e não ser enganado por dados irrelevantes ou distrativos.

Isso faz sentido?

O último ponto, mas não menos importante, que Huff nos ensina a questionar é: “Isso faz sentido?”. Esta pergunta é um convite à aplicação do pensamento crítico e à análise lógica dos dados apresentados. É uma verificação da plausibilidade e da coerência interna dos dados e das afirmações feitas. Este passo é crucial para evitar cair em armadilhas de argumentos estatisticamente embasados, mas logicamente falhos. Aqui, o autor nos encoraja a não aceitar cegamente as estatísticas, mas a questionar e ponderar sobre elas em um contexto mais amplo, usando o senso comum e conhecimento geral para avaliar sua validade.

Quem está falando?

Por fim, a pergunta “Quem está falando?” nos remete a considerar a fonte dos dados. Huff enfatiza a importância de entender quem está apresentando as estatísticas e quais podem ser seus interesses subjacentes. Em um mundo onde os dados podem ser facilmente manipulados para servir a diversos propósitos, saber quem está por trás das informações e qual é a sua agenda é crucial para a interpretação correta dos dados. É um lembrete de que as estatísticas, embora objetivas em si, podem ser utilizadas de maneira subjetiva e tendenciosa, dependendo de quem as manipula e com qual intenção.

Concluindo, “Como mentir com estatística” não é apenas um guia para a compreensão de conceitos estatísticos, mas um manual para o pensamento crítico em uma era sobrecarregada de informações. Darrel Huff, com uma abordagem acessível e envolvente, fornece aos leitores as ferramentas necessárias para navegar com inteligência e discernimento no oceano de dados que nos cerca. Este livro continua a ser uma leitura essencial, não só para cientistas e analistas de dados, mas para qualquer pessoa que deseja entender e interpretar o mundo de maneira mais informada e crítica.