A arquitetura de combinação de especialistas (MoE) foi desenvolvida para equilibrar a capacidade de conhecimento de modelos de grande porte com a eficiência de inferência dos modelos menores, segmentando as camadas da rede neural em múltiplos “especialistas”. Ao invés de ativar todos os parâmetros do modelo para cada entrada, a arquitetura MoE implementa uma função de gating que ativa apenas os “especialistas” mais apropriados para processar cada token.
O Llama 4 Scout, o modelo menos volumoso entre os dois novos lançamentos, possui um total de 109 bilhões de parâmetros e é dividido em 16 especialistas. Durante a inferência, a contagem de parâmetros ativos é de apenas 17 bilhões, o que possibilita uma maior simultaneidade no atendimento a usuários. Treinado com 40 trilhões de tokens, o Llama 4 Scout demonstra desempenho que compete ou supera modelos com contagens de parâmetros ativos significativamente mais altas, preservando custos e latência reduzidos. Mesmo com esses requisitos computacionais mais leves, o Llama 4 Scout se destaca em benchmarks relacionados a programação, raciocínio, processamento de contexto longo e compreensão de imagens.
O Llama 4 Maverick, por sua vez, é constituído por 128 especialistas e possui um total de 400 bilhões de parâmetros, mantendo a mesma contagem de parâmetros ativos de 17 bilhões do Llama 4 Scout. De acordo com o anúncio oficial da Meta IA, o Llama 4 Maverick demonstra desempenho superior ao GPT-4 da OpenAI e ao Gemini 2.0 Flash do Google em uma variedade de benchmarks multimodais, além de rivalizar com sistemas de raciocínio e programação, como o DeepSeek-V3, que é substancialmente maior, em tarefas complexas.
