Latência

Latência é o tempo entre disparar uma requisição e receber o começo da resposta, medido em milissegundos. É o atraso — não a quantidade de dados que cabe no caminho.

Em jogos online e em internet residencial, o mesmo atraso costuma ser chamado de ping: é a mesma grandeza, medida de outro ponto e com outro nome comercial.

Latência não é velocidade de conexão

Banda é a largura do cano; latência é quanto demora para a primeira gota chegar. Um link de 500 Mbps com 300 ms de latência entrega muitos dados e parece lento, porque cada ida e volta custa três décimos de segundo. É por isso que internet via satélite baixa filme rápido e trava numa chamada de voz.

De onde vem o atraso

• Distância física. A luz na fibra percorre cerca de 200 mil km/s. Um pacote de São Paulo até a costa leste dos Estados Unidos e de volta dificilmente fica abaixo de 120 ms, mesmo com a rede vazia. É lei da física, não configuração.
• Processamento. Consulta pesada ao banco, geração de resposta por IA, chamada a um terceiro no meio do caminho.
• Fila. O servidor está ocupado e a sua requisição espera a vez — é o que dispara em pico de campanha.

A média mente

Média esconde o cliente irritado. Se 95 requisições levam 100 ms e cinco levam 6 segundos, a média fica em 395 ms e parece aceitável — mas cinco em cada cem pessoas esperaram seis segundos. Use p95 e p99: o tempo que 95% e 99% das chamadas não ultrapassaram. É a única medida que enxerga a cauda.

Quanto é aceitável

No atendimento, latência de sistema e tempo de resposta ao cliente são grandezas separadas por três ordens de magnitude: a primeira se mede em milissegundos, a segunda em minutos. Otimizar milissegundos enquanto o lead espera quarenta minutos é resolver o problema errado.