Skip to content

Fase 2: trilhas no próprio processo (spec 003) - #2

Merged
net0well merged 4 commits into
mainfrom
fase-2/trilhas
Oct 19, 2026
Merged

net0well merged 4 commits into
mainfrom
fase-2/trilhas

Conversation

@net0well

Copy link
Copy Markdown
Collaborator

Resumo

Trilhas (pipelines) executadas no próprio processo: RunPipelineAsync, validação na carga do catálogo, definição em C# (AddPipeline) ou em pipelines/*.pipeline.json.

Item Entregue
Modelo PipelineDefinition, passos com versão fixa de Stage, ligações $pipeline.campo / $steps.passo.campo / {"const": ...}, saídas declaradas da trilha
Validação regras PIPE_* com Step/Field; compatibilidade de tipos só com conversões seguras; avisos (PIPE_UNUSED_INPUT, PIPE_FILE_INPUT) não bloqueiam
Catálogo pipelines/*.pipeline.json validado por schemas/pipeline.v1.json; toda trilha é validada contra os Stages ao carregar (erro falha na inicialização)
Execução ligação implícita por nome; integer → decimal vira decimal exato; arquivos passam de um passo a outro; falha ou cancelamento marca os passos seguintes como Skipped
Fixtures tests/fixtures/calculo-progressao: 4 Stages com numpy e pandas reais (mapeamento §13.1)

Critérios de aceite (spec 003)

  • AC-1 calculo-progressao → soma 89, média 22,25, desvio ≈ 25,3118, tabela com 4 linhas
  • AC-2 passo 4 lê a saída do passo 1 (pulando 2 e 3)
  • AC-3 constante 465 chega ao passo
  • AC-4 ligação implícita por nome (inclusive para arquivo)
  • AC-5 cada código PIPE_* com Step e Field; avisos não bloqueiam
  • AC-6 matriz de compatibilidade (integer→number, enum⊂enum, list<integer>→list<number>; number→integer e string→enum recusados)
  • AC-7 passo 2 falha → [Succeeded, Failed, Skipped, Skipped], Error.StepKey = polinomio
  • AC-8 retry dentro do passo 2 → trilha Succeeded com 2 tentativas
  • AC-9 saída de arquivo declarada via GetFile; saída não declarada → KeyNotFoundException
  • AC-11 cancelamento no passo 2 → [Succeeded, Cancelled, Skipped, Skipped]
  • AC-12 pipeline.json com eco@2 inexistente → falha na carga com PIPE_STAGE_NOT_PUBLISHED
  • AC-13 a mesma trilha em C# e em arquivo dá o mesmo relatório de validação e os mesmos resultados
  • AC-10 (reprocessar) e AC-14 (testar rascunho de trilha) → Fase 3, porque dependem de persistência e de rascunhos

Verificação local (Windows)

Fase Resultado
Build PASS: 0 erros, 0 avisos
Diagnósticos / antipadrões (Roslyn) PASS: 0 / 0
Testes .NET PASS: 98/98 (62 da Fase 1 + 36 novos)
Formatação PASS
Segurança sem pacotes novos

Notas de implementação

  • IPipelineValidator.ValidateAsync é assíncrono porque resolve os Stages pelo ICatalog, que na Fase 3 será o banco.
  • Dois códigos de validação além da spec: PIPE_UNKNOWN_INPUT (ligação para entrada que o Stage não declara) e PIPE_DEFINITION (chave, nome ou campos da trilha inválidos, ou entrada ligada duas vezes).
  • ICatalog ganhou FindPipelineAsync e IPythonRunner ganhou RunPipelineAsync.
  • Como as fixtures usam numpy e pandas, a primeira execução do CI baixa esses pacotes.

🤖 Generated with Claude Code

net0well and others added 4 commits October 19, 2026 15:01
- PipelineDefinition, passos com versão fixa de Stage, ligações
  ($pipeline / $steps / const) e saídas declaradas da trilha
- regras PIPE_* com compatibilidade de tipos (integer→number/decimal,
  enum→string/enum maior, list<T>, table por colunas, file por content type)
- IPipelineValidator e AddPipeline (C# fluente)
- catálogo em pasta lê pipelines/*.pipeline.json (schemas/pipeline.v1.json);
  trilhas são validadas ao carregar o catálogo (erros falham, avisos são logados)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- resolve as ligações de cada passo (inclusive implícitas por nome) e aplica
  as conversões seguras (integer→decimal vira string decimal exata)
- arquivos passam de um passo a outro sem cópia no nível da execução;
  orçamento de 200 MB por execução somando entradas e saídas
- falha ou cancelamento num passo marca os seguintes como Skipped
- saídas declaradas da trilha em GetOutput/GetFile; GetStepOutput para depurar
- RunStageAsync e RunPipelineAsync compartilham o mesmo fluxo de execução

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…003)

- tests/fixtures/calculo-progressao: 4 Stages (numpy e pandas reais) e o pipeline.json
- AC-1 a AC-9 e AC-11 a AC-13: números do CS-1, ligações que pulam passos,
  constantes, ligação implícita, arquivo entre passos, falha/retry/cancelamento,
  carga inválida e equivalência entre trilha fluente e em arquivo
- regras de validação por código PIPE_* e matriz de compatibilidade de tipos

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@net0well
net0well merged commit c00401c into main Oct 19, 2026
8 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant