NVIDIA NIM Gateway
Rotação automática de chaves, autenticação segura e streaming real. Interface 100% compatível com OpenAI SDK.
// O que o NimFlow resolve
Distribui as requisições entre até 100 chaves NVIDIA automaticamente. Quando uma atinge o limite, troca para a próxima sem interromper o cliente.
Cada token chega ao cliente assim que é gerado. Sem buffer, sem esperar a resposta completa. Latência percebida próxima de zero.
Seus clientes usam tokens gerados por você. As chaves NVIDIA ficam no servidor, nunca expostas. Tokens armazenados como hash SHA-256.
Erros de rate limit, timeout e sobrecarga são retentados automaticamente com backoff exponencial. Erros de payload retornam imediatamente.
Cada requisição é registrada com cliente, modelo e timestamp. Acesse pelo Supabase Studio com queries prontas para análise de uso.
Troque só a URL base. Funciona com qualquer biblioteca que use o protocolo OpenAI: Python SDK, Continue, Cursor, LangChain.
// Fluxo de uma requisição