Como a Netflix faz Teste A/B

Quando eu criei minha conta no Netflix, em, sei lá, 2012 ou 2013, algumas pessoas tiravam com a minha cara. Hoje essas pessoas usam o Netflix e essa empresa já incomoda grandes televisões brasileiras, inclusive empurrando uma digitalização meio que forçada nesse meio. O que poucas pessoas sabem é que grande parte do segredo do sucesso da Netflix é o processo de otimização da conversão que eles adotam em seu produto. Esse post é para compartilhar algumas informações que encontrei sobre esse processo.

Hipótese

Na Ciência, uma hipótese é uma ideia ou explicação que você pode testar no campo da experimentação. Na otimização da conversão é uma ideia de melhoria em um elemento bem definido. Você não sabe se essa ideia é melhor que a forma atual do elemento a ser testado.

O conceito geral por trás do teste A/B é criar um experimento com um ou mais grupos controle (aqui no Netflix chamamos células) que recebem tratamentos diferenciados. Cada membro pertence exclusivamente a uma célula em um dado experimento, e uma das células sempre se chama célula padrão. Esta célula representa o grupo controle, que recebe a mesma experiência que todos os membros do Netflix que não estão no teste. – Blog da Netflix

Isso tanto é verdade que existe uma área para você optar não participar desses testes, se você tem conta, fica aqui.

Bom, mas uma vez que o teste está no ar, eles monitoram métricas importantes para eles. Por exemplo, podem ser elementos como tempo de streaming e retenção. Uma vez que os participantes geram conclusões significativas, eles avançam para a análise da eficácia de cada variação e definem um vencedor.

O Experimento

Muitas empresas como o Netflix rodam testes para gerar dados sobre o comportamento dos seus usuários. É importante que os testes tenham tempo suficiente para coletar dados significativos.

Você já deve ter notado. Toda vez que entramos na home da Netflix parece que algo mudou. Tudo isso faz parte do complexo sistema de testes adotado pela empresa.

Segundo Gopal Krishnan, engenheiro do Netflix:

Se você não conquistar a atenção de um membro em 90 segundos, esse membro provavelmente vai perder o interesse e partir para outra atividade. Esse tipo de problema acontece as vezes porque não mostramos o conteúdo certo ou porque mostramos o conteúdo certo mas não apresentamos evidências convincentes para que o membro o assistisse.

A Netflix fez um experimento em 2003 para ver se eles conseguiam criar miniaturas mais atrativas ao público, a seguir o resultado.

Foi um sinal de que os membros são sensíveis a mudanças nas miniaturas. Também foi um sinal de que há melhores formas de ajudarmos os membros da Netflix a encontrar os tipos de conteúdo que eles buscam na plataforma.

A Netflix criou posteriormente um sistema que agrupa automaticamente miniaturas com diferentes formatos, recortes, retoques, localização do título etc.

Imagens com a setinha verde são as que performaram melhor nos testes da Netflix

O que eu Aprendi com Tudo Isso

1. Um Mundo a Explorar

Otimização da conversão pode ser muito complexo. Você pode começar terceirizando ou com uma pessoa, ou você pode encher um andar de pessoas para fazer isso.

2. Estratégia Antiego

Experimentação é tudo. Quanto maior a organização, mais ego para lidar e experimentação é a única estratégia antiego no marketing de uma empresa. Hoje se fala muito em gestão horizontal. Com experimentação as ideias podem vir de qualquer lugar, é o público, através do seu próprio comportamento quem elege quais ideias são boas e quais são ruins. Não existem donos da verdade. Por isso isso precisa estar no DNA da empresa e de seus sistemas, com a Netflix faz.

3. Detalhes importam

Mesmo aqueles cantinhos do seu site que você nem considera importante, podem ser a chave para conquistar o sucesso em sua estratégia digital.

Se você curtiu esse conteúdo e quer mais, sugiro. Tem muito mais:

Na verdade, esse post merece bem mais conteúdo. Quem sabe tenha uma segunda parte.

Ajude a espalhar o conteúdo

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *