A DeepSeek abriu esta semana o código do DeepInfer, o framework de inferência que sustenta seus serviços de produção em grande escala. O repositório foi criado no GitHub em 16 de outubro e o anúncio veio na terça-feira, 20, sob licença Apache-2.0 — ou seja, uso comercial livre, com modificações permitidas e sem exigir contrapartida. Junto com ele, a empresa também publicou o deepseek-recipe, componente de encode e decode de tokens alinhado à API oficial, que evita a injeção acidental de tokens especiais fora do formato esperado.
Os números por trás do software impressionam: um único cluster de produção serve cerca de 155 trilhões de tokens por dia e, segundo a própria DeepSeek, fatura aproximadamente US$ 38 por GPU-hora em precificação de vale — o chamado "valley pricing", que cobra menos no horário de menor demanda. É esse motor que roda o DeepSeek V4.1 Flash, modelo de referência do repositório.
O Que Está Disponível No Código Aberto
O DeepInfer entrega inferência offline com as otimizações essenciais para servir LLMs em escala. Entre as funcionalidades declaradas no README:
- Kernels otimizados: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect e kernels customizados em TileLang;
- Paralelismo: Attention DP com balanced CP e MoE EP com EPLB (balanceamento expert-per-layer);
- DSpark com verification agendada por confiança: acelera o decode com tokens de rascunho (draft default de 5) e usa estimativas de confiança para escalar a verificação;
- Replay limitado de SWA (sliding window attention), agendamento assíncrono com scheduler de batch sem overhead, inferência batch-invariant, sampling determinístico e saídas estruturadas por regex, JSON schema ou EBNF.
A arquitetura de deployment separa prefill — executado em máquinas comuns de 8 GPUs — do decode, que roda em supernodes de 64 a 128 GPUs. O checkpoint padrão é deepseek-ai/DeepSeek-V4.1-Flash-1017, e a empresa promete que os próximos modelos também virão com inferência aberta no DeepInfer.
O DeepInfer vem com suporte a NVIDIA SM100 e NPUs Huawei Ascend 950 — a primeira vez que um framework desta envergadura é publicado com caminho de produção real para chips chineses e occidentais lado a lado.
O Que Não Vem No Pacote
A divulgação é cuidadosa ao listar o que ficou de fora: o sistema de KV cache, a desagregação entre VE, Prefill e Decode e o load balancing não fazem parte do release. Na prática, quem espera clonar a pilha completa da DeepSeek vai precisar implementar essas camadas — justamente as que mais diferenciam um cluster de produção de um benchmark local.
Requisitos E O Que Isso Significa Para O Mercado
Para rodar, o documento pede Linux, GCC 13 ou superior, Python 3.12, CUDA 13 ou CANN 9.2 (a pilha da Huawei). Com a licença Apache-2.0, empresas podem adaptar o motor aos próprios data centers sem negociar contratos — algo raro em código de inferência de fronteira, geralmente mantido fechado por OpenAI, Anthropic e Google.
Para quem estuda infraestrutura de IA, o repositório é uma aula prática: os kernels, o esquema de paralelismo e o trade-off entre prefill e decode vêm comentados em produção real. Para o mercado, reforça a tese de que o valor competitivo da DeepSeek migrou do modelo para a stack de servimento — e que ela decidiu transformar essa stack em padrão aberto.
Pontos-Chave
- DeepInfer publicado sob Apache-2.0; repositório criado no GitHub em 16/10 e anunciado em 20/10
- Motor por trás do DeepSeek V4.1 Flash; cluster único serve 155 trilhões de tokens/dia
- Receita reportada de ~US$ 38 por GPU-hora em precificação de vale (valley pricing)
- Kernels: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect e TileLang
- DSpark com draft tokens (default 5) e verification agendada por confiança
- Saídas estruturadas por regex, JSON schema ou EBNF, além de sampling determinístico
- Suporte a NVIDIA SM100 e NPUs Huawei Ascend 950; pré-requisitos GCC 13+, Python 3.12, CUDA 13/CANN 9.2
- Ficam de fora: KV cache, desagregação VE/Prefill/Decode e load balancing