Projeto final: monte seu assistente ou agente

Você passou por 23 nós. Anatomia de prompt, few-shot, CoT, decomposição, ReAct, RAG, function calling, system vs user, prompts como código, avaliação, automação, agentes, multimodal, segurança, custo. Nada disso "gruda" só lendo. Este projeto é a prova real: montar um sistema completo com LLM, agnóstico de stack, com avaliação, segurança e custo na cabeça.

O objetivo

Construir um assistente ou agente que:

Resolve um problema real seu (trabalho, estudo, hobby) - não inventado.
Tem system prompt bem-estruturado (papel, regras, formato, restrições).
Tem golden set de avaliação com 20+ casos e métrica definida.
Tem defesa em profundidade contra prompt injection (pelo menos 3 camadas das que vimos em seguranca-e-injecao).
Tem custo e latência medidos e documentados.

Formato da entrega

A trilha é agnóstica de stack. Você entrega um pacote contendo:

README.md - visão geral: o que é, pra quem, o que resolve.
prompts/ - system prompt + user prompt templates versionados.
golden-set.jsonl - 20+ casos de teste com input e output esperado.
avaliacao.md - relatório da avaliação: pass-rate, métricas principais, exemplos onde falhou.
seguranca.md - análise das camadas de defesa e ataques testados.
custo-latencia.md - estimativa de custo por request, latência P50/P95, e decisões tomadas pra otimizar.

Se você programa, o pacote também pode ter código (chatbot, API, integração com algum sistema). Mas código não é obrigatório - o que vale é o sistema de prompts + avaliação + análise.

Sugestões de projetos (ou traga o seu)

Assistente de FAQ da sua empresa - RAG sobre docs internas, respostas curtas, com fontes.
Agente de triagem de email - lê email, classifica urgência, sugere resposta ou marca pra revisão humana.
Gerador de conteúdo com avaliação - pipeline que gera posts, avalia com LLM-as-judge, e só publica os que passam.
Agente de pesquisa - recebe um tema, busca, sintetiza, cita fontes. Usa ReAct + tool use.
Analisador de currículos - recebe PDF, extrai skills, dá match com vaga, explica o porquê. Validação humana no fim.
Assistente de estudo pessoal - flashcards, perguntas, simulados, com base no material que você está estudando.

Critérios de "pronto"

O projeto está completo quando:

O sistema resolve o problema proposto - você consegue mostrar 3-5 exemplos reais funcionando, fim a fim.
Tem system prompt versionado - com changelog (o que mudou e por quê entre versões).
Tem golden set + avaliação rodada - 20+ casos, métrica clara, e relatório de pass-rate.
Tem análise de segurança - pelo menos 3 camadas das que vimos, e 2+ ataques testados (com resultado).
Tem análise de custo/latência - pelo menos ordem de grandeza ($ e segundos por request) e decisão de modelo tomada com critério.
Tem README que um estranho entende: o que é, como usar, limitações conhecidas.

O que não esperamos

❌ Sistema em produção rodando (você não precisa fazer deploy, só mostrar que funciona localmente).
❌ UI polida (terminal está ótimo, se for o caso).
❌ Cobertura 100% no golden set (80% de pass-rate com análise honesta dos 20% que falham é melhor que 95% sem análise).
❌ Resolver todos os edge cases (deixe explícito o que está fora de escopo).

Como apresentar

No PR de entrega:

Cole o link do repositório (pode ser um repo seu, um gist, ou pasta no seu fork do Aprenda).
O README.md deve ser standalone - alguém clona e entende.
Inclua 3-5 prints ou trechos de exemplo rodando.
O avaliacao.md deve ter uma tabela com a métrica principal e o pass-rate.

A pergunta certa pra se fazer durante o projeto

A cada decisão, pergunte: "se eu tivesse que defender essa escolha em público, com dados, eu conseguiria?"

"Por que esse modelo e não outro?" → custo, latência, qualidade medida.
"Por que essa persona e não outra?" → few-shot, golden set, iteração.
"Por que essa defesa e não outra?" → análise de risco + teste manual.
"Por que esse formato de saída?" → schema + integração a jusante.

Se você não consegue defender, refine até conseguir. Esse hábito é o que separa hobby de profissão.

Dicas finais

Comece pelo problema, não pelo framework. Pense no problema real, monte o sistema mínimo que resolve, meça, otimize.
Use o que você aprendeu. Few-shot pra tom/formato. CoT pra raciocínio. RAG pra conhecimento externo. Tool use pra ação. Avaliação pra evoluir. Segurança pra não vazar.
Itere com golden set. Toda mudança no prompt, roda no golden set. Se não melhora, descarta.
Documente enquanto faz. README, changelog, decisões - escreva enquanto decide, não depois. Depois você esquece o porquê.
Compartilhe. Publica num repo, blog, ou no Aprenda via PR. Feedback externo é insubstituível.

Dica: o melhor projeto final é o que você vai continuar usando. Não invente um problema - pegue algo que você já faz no dia a dia e automatize/otimize com o que aprendeu. Vai ser mais motivador, mais realista, e mais útil.

🎉 Você terminou a trilha de Prompt Engineering. 24 nós, do "o que é um LLM" até montar um agente com avaliação, segurança e custo na cabeça. Prompt engineering não é mais "perguntar pro ChatGPT" - é engenharia de software com LLM, com os mesmos cuidados que você teria com qualquer sistema em produção: testes, validação, segurança, observabilidade.

Agora é repetição. Use no seu trabalho, monte sua biblioteca de prompts, e a cada projeto novo, vai ficando mais rápido. O investimento se paga por anos - literalmente toda a indústria de software está sendo remodelada em torno disso. Bem-vindo ao bonde.