Governança e LLMOps | NTT DATA

sex, 03 outubro 2025

Agentic AI: o verdadeiro desafio está na precisão, governança e LLMOps

Dominar o contexto e aplicar LLMOps: o segredo do sucesso em Agentic AI.

 

Por que a precisão e a governança são essenciais em Agentic AI?

No fim dos anos 1990, os fundadores do Google tentaram vender seu algoritmo para o Yahoo por uma quantia relativamente pequena (segundo relatos, entre 1 e 2 milhões de dólares). A proposta foi recusada, classificada como uma “melhoria aparentemente insignificante” em relação à tecnologia da época. Hoje, esse episódio é historicamente emblemático: aquele “pouco a mais” redefiniu o futuro das buscas na internet.

A corrida tecnológica pelo desenvolvimento de sistemas de Agentic AI pode nos levar a repetir esse erro: focar apenas em modelos maiores ou na conectividade via APIs, ignorando o que realmente pode fazer a diferença — a precisão contextual, a governança da solução e sua capacidade de operar com eficácia em ambientes reais. É aqui que entra o conceito de LLMOps.

O que é LLMOps e por que isso é importante?

LLMOps abrange todo o ciclo de vida de uma solução de Agentic AI no ambiente empresarial:

  • Desenvolvimento e validação: definição de casos de uso, projetos-piloto, métricas e iteração.
  • Implantação e operação: implementação em ambientes reais, monitoramento e gestão de alertas.
  • Avaliação e melhoria contínua: análise de métricas, ajuste de prompts, redefinição de objetivos e otimização de custos.

As cinco dimensões fundamentais da gestão de contexto

Para implementar uma gestão de contexto eficaz, cinco dimensões se destacam como fundamentais:

  1. Base de conhecimento: as provas de conceito (PoCs) de GenAI costumam ser realizadas rapidamente porque partem do modelo fundacional desde o início. Porém, incorporar informações do próprio negócio exige modelagem de dados em bases vetoriais ou grafos — os chamados RAG. Estruturação, chunking, embeddings e um repositório bem projetado são indispensáveis quando há grandes volumes de dados.
  2. Segurança e confiabilidade: alucinações ou respostas fora dos limites de tolerância definidos para o caso de uso podem comprometer uma implantação. É crucial implementar medidas de proteção baseadas em políticas internas, limites operacionais, rastreabilidade e conformidade regulatória.
  3. Regras de negócio: uma pergunta frequente ao apresentar casos de uso de agentic é: onde estão as regras de negócio? Em grande parte, nos próprios prompts. Por isso, os templates de prompts e as técnicas de prompt management são essenciais para governar esses elementos como mais um ativo do sistema: com versionamento, auditabilidade e capacidade de adaptação ao aprendizado contínuo.
  4. Memória: nos primeiros casos de uso de GenAI, especialmente em soluções com foco em assistentes, a gestão de memória se restringia ao curto prazo. Já no universo Agentic, onde múltiplos agentes interagem ao longo da jornada, é necessário uma gestão de memória de longo prazo para garantir continuidade funcional.
  5. Inteligência: é fundamental escolher o LLM mais adequado por domínio, avaliar opções como SLM ou até mesmo VideoLM, explorar fine-tuning, modelos abertos ou estratégias de IA privada são decisões cruciais para definir a melhor alternativa em cada cenário.

Qual o papel das plataformas low-code e no-code?

Na minha visão, plataformas low-code e no-code têm um papel cada vez mais relevante nesse ecossistema.

Essas plataformas são ideais para casos horizontais, como assistentes de produtividade ou automação de tarefas. No entanto, para escalar em ambientes mais complexos, é necessário garantir:

  • Robustez dos dados
  • Governança do conhecimento
  • Segurança
  • Precisão em processos críticos

Recomendação estratégica

O futuro da Agentic AI não será decidido por quem conectar um modelo a uma API mais rapidamente, mas por quem dominar a disciplina de LLMOps. Minha recomendação para CIOs, CDOs e responsáveis de transformação digital:

  • Considere o LLMOps como uma nova disciplina organizacional.
  • Forme equipes especializadas.
  • Aplique metodologias e aceleradores próprios.

Só assim será possível garantir que um agente seja desenvolvido com base em um caso de negócio real, validado com rigor, implantado com controle, operado com confiabilidade e avaliado com métricas de impacto.

Conclusão

Desconsiderar uma "melhoria aparentemente insignificante" pode custar à empresa a oportunidade de liderar uma transformação global. O diferencial competitivo está em dominar o contexto — não apenas em conectar modelos.

Saiba mais sobre a NTT DATA e Agentic AI.