Vi uma análise interessante da estratégia de arquitetura de inferência de um grande fornecedor de cloud.

Estão a funcionar com uma configuração modular – dividindo as tarefas de inferência em componentes separados em vez de servidores monolíticos. Jogada inteligente para escalar.

A camada de encaminhamento é consciente da cache KV, o que significa que sabe exatamente onde vivem os pares chave-valor em cache antes de direcionar pedidos. Reduz significativamente a computação redundante.

O que me chamou a atenção: a infraestrutura deles é feita de raiz para servir tráfego de produção, não para cargas de trabalho de treino. Uma besta completamente diferente.

A estrela polar deles? Latência consistente quando pressionado com carga real. Não a perseguir pontuações sintéticas de referência que parecem bonitas no papel mas se desmoronam sob pressão.

Isto ressoa com a forma como as redes descentralizadas precisam de pensar na arquitetura dos nós – fiabilidade em vez de métricas de vaidade.