“Eu nunca confio nos dados 100%, e você também não deveria. Sempre há algum nível de incerteza.” – Ola Rosling.

Imagine que você é um(a) empresário(a) do ramo de comércio eletrônico. Os analistas que trabalham com você comentaram na última reunião de indicadores que os dados coletados mostram que muitos visitantes utilizam o site e pesquisam produtos, chegando até mesmo adicionar alguns no carrinho, mas em muitos casos a compra não é finalizada.

Sua loja online, chamada Amazônia, quer mudar esse cenário. Afinal, o crescimento da empresa depende das pessoas fazerem muitas compras no site. Sendo assim, seu time de especialistas em dados e vendas levanta algumas hipóteses sobre o porquê de os clientes não finalizarem as compras: pode ser por que eles adicionam os produtos no carrinho na expectativa de ganharem um desconto (ou frete grátis), que nunca vem. Ou eles não encontram a forma de pagamento que desejam devido ao layout da página de fechamento de compra. Entre outros.

O time concorda que o layout do site não é ideal e decide fazer um teste mudando a disposição de um botão na página de fechar compras para ver se a taxa de conclusão de compras, que está em 20%, aumenta. Para tanto, consideremos as seguintes estratégias para melhorar a eficácia do nosso site,

A primeira opção é implementar a mudança no site inteiro, observando por uma semana. Essa abordagem, mais intuitiva, foca em verificar se há um aumento na taxa de conversão, atualmente em 20%. Caso haja um incremento, mesmo que mínimo, a alteração será mantida, e então prosseguiremos testando outras modificações seguindo esse mesmo raciocínio.

A segunda estratégia envolve um método mais estruturado: dividir os visitantes entre o layout atual e o novo por um mês. Esse período foi selecionado para captar adequadamente o impacto da mudança desejada. Ao final do mês, analisaremos os resultados para determinar se as diferenças observadas são estatisticamente significativas, com um nível de confiança de 95%.

É provável que a segunda abordagem pareça mais confiável, mesmo para aqueles que não estão familiarizados com todos os termos técnicos. Este método não apenas utiliza jargão especializado, mas também incorpora um rigor técnico e científico, o que pode inspirar mais confiança na sua efetividade.

Mas então se implementarmos a mudança no layout do site seguindo o rigor científico e a conversão de fechamento de compras paradas no carrinho aumentar para 25%, isso significa que encontramos verdade absoluta sobre como montar um website de comércio eletrônico que aumente a conversão de vendas de itens parados no carrinho?

Não, mas é algo nessa linha que muitas pessoas acabam acreditando quando se utiliza alguma técnica baseada em estatística para resolver algum problema. A Estatística, bem como a ciência de dados e machine learning por consequência, adquiriram uma aura de varinha mágica ou elixir da verdade devido a exemplos famosos (e algumas vezes inflados) de seu uso, como quando um estatístico da Target “previu” a gravidez de uma garota antes mesmo que seus pais soubessem.

Mas a forma com que deveríamos interpretar o uso destas ferramentas na verdade é quase o oposto: elas nos ajudam a reduzir incerteza sobre nossa tomada decisão e/ou encontrar padrões em um mundo extremamente complexo e sujeito a aleatoriedade.

A grande questão relativa ao uso da estatística inferencial (ramo da estatística que usa amostras para deduzir acerca de algum parâmetro de uma população ) para resolver algum problema é: como saber que o aumento no número de compras do nosso e-commerce é de fato significativo e não obra do acaso?

Há diversos motivos para acreditar que o acaso pode estar envolvido: fizemos nosso teste perto de uma data comemorativa, então as pessoas estão mais propensas a comprar em nosso e-commerce. Ou perto do dia de pagamento, em que as pessoas acabaram de pagar a fatura do cartão e o salário do mês caiu na conta, minimizando o sentimento de culpa de fazer uma comprinha. O acaso significa também que a matemática não é única capaz de explicar o mundo, precisamos também de uma pitada de psicologia, economia comportamental, entre outros.

Um outro exemplo, mais próximo do cotidiano geral: como ter uma garantia de que as poucas milhares de pessoas que um instituto de pesquisa de opinião entrevista ao redor do país vão de fato nos garantir uma perspectiva de como o eleitor brasileiro como um todo vai votar naquele momento?

No caso das pesquisas eleitorais, quem não ouviu acusações de que os institutos de pesquisa “erraram na previsão de quem ia ganhar” em 2022?. Essa frase já parte de um premissa errada, já que o intuito dos institutos não é prever o ganhador e sim entender a situação da opinião popular naquele momento específico. Citando Felipe Nunes, CEO da Quaest:

(…) pesquisa não é prognóstico. Elas capturam movimentos e dinâmicas de opinião, que são usadas pelos próprios eleitores na hora da decisão final.

É usar uma amostra para entender mais sobre a população subjacente naquele recorte de tempo. Não prever o futuro. Até por que muitos eleitores utilizam a pesquisas eleitorais para decidirem sues votos.

Vamos fazer um exercício de imaginação. Suponha que pudéssemos quantificar a incerteza em uma escala de 0 a 100, em que 100 é o máximo de incerteza, e que queremos saber em qual candidato a população está propensa a votar. Temos duas opções, tentar adivinhar, que reduz nossa incerteza para 50 (ganha / não ganha), digamos, ou usar um conjunto de ferramentas matemáticas que reduz nossa incerteza para um valor menor que 50. Obviamente escolheremos a opção que reduz ao máximo nossa incerteza. Mas ela sempre estará lá. E isso se estende a todos as vertentes de análise e ciência de dados. Todos os modelos que cientistas de dados ou analistas de negócios desenvolvem tem um erro atrelado. E tudo bem, tomar decisões com um modelo bem feito é muito melhor do que continuar no escuro.

A citação inicial deste texto pode até soar como um manifesto contra os dados. Se este for sua impressão, ela está equivocada. Ola Rosling, autor da frase, era apaixonado e entusiasta pelo uso de dados e acreditava que eles poderiam fazer-nos ver que o mundo em que vivemos é melhor do que imaginamos. Desde que estejamos cientes de suas virtudes e limitações.

“O mundo não pode ser entendido sem números. E ele também não pode ser entendido utilizando somente números.” Ola Rosling.