Repository navigation
Fase 4: fila RabbitMQ, worker e agendamento cron (specs 005, 006, WorkerHost) - #4
Merged
Merged
Conversation
…ndamentos (specs 005, 006) - IRunEngine.ExecuteStepAsync executa uma tentativa de um passo sem gravar nada (D-102); BindInputs valida entradas sem executar; RemoveOrphanWorkFolders limpa pastas. - Contratos v1: IRunQueue/RunHandle, RunEvent/IRunEventHandler, ExecuteStepCommand, StartPipelineRunCommand, CancelRunCommand e PsrMessageJson. - Agendamentos no ICatalogAdmin (D-101) e novos códigos de erro. - RunOptions.CorrelationId; RunSnapshot com correlação, agendamento e trigger_details (D-108). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…entos no outbox (specs 004, 005, 006) - AsyncRunLifecycle (D-112): criação transacional com outbox e limite por trilha (Pending FIFO), claim com lease, conclusão (próximo passo, retry atrasado, fim), reaper de leases e disparo do cron com SKIP LOCKED e coalescência (D-45, D-77, D-85). - IRunMessageOutbox: ponto de extensão das mensagens (no-op sem fila); toda execução síncrona também grava eventos quando a fila está registrada (D-105). - PsrOutbox para o relay; PsrClock alinhado ao relógio do PostgreSQL. - CRUD de agendamentos com Cronos, validação de cron/fuso/versão/entradas e SCHEDULE_FILE_INPUT; aviso na publicação da trilha (D-77). - Cancelamento com CancelRun para todas as instâncias e reprocesso assíncrono (QA-003-3). - Migration AsyncRuns: coluna runs.trigger_details (D-108). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ico e eventos (spec 005) - Topologia declarada ou verificada (psr.commands, psr.public, psr.events, psr.control, psr.dlx; filas quorum com delivery-limit e DLX). - Relay do outbox com publisher confirms e backoff; IRunQueue transacional. - Consumidor de StartPipelineRun (run.queued / run.rejected, deduplicação por idempotencyKey ou message_id), cancelamento por psr.control e assinaturas IRunEventHandler duráveis ou por instância (D-110). - Propagação de traceparent, métricas e health check (Degraded sem broker). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ron (spec 006) - StepWorker consome psr.step.execute (uma mensagem por passo), renova o lease e conclui o passo na mesma transação do próximo; mensagens duplicadas ou obsoletas são confirmadas sem efeito. - Reaper de leases, scheduler cron e limpeza de pastas de trabalho. - Graceful shutdown com ShutdownGracePeriod; métricas psr.worker.*, psr.queue.wait, psr.lease.recovered, psr.schedule.* e psr.runs.pending; AddPythonScriptRunnerChecks (banco, broker, uv). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ers (specs 005, 006) - RabbitMQ.Tests: AC-1 a AC-12 da spec 005, eventos de execução síncrona (D-105) e ponte por instância (D-110). - Worker.Tests: AC-1 a AC-17 da spec 006, reprocesso assíncrono (spec 003 AC-10), editor de agendamentos (D-101) e aviso de entrada obrigatória nova (D-77); worker morto simulado em processo (D-109). - Fixture html-para-email (CS-2, mapeamento §13.2); o teste roda só no Linux (D-106). - ExecuteStep sem runId/stepRunId/attempt vai para a dead-letter. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…advisory lock (spec 009) - WorkerHost: worker standalone configurado por variáveis de ambiente, /health/live e /health/ready, PSR_AUTO_MIGRATE (D-107; Dockerfile fica para a Fase 7). - ServiceDefaults: Serilog (console JSON) e OpenTelemetry com exportação OTLP opcional (D-54). - MigratePythonScriptRunnerAsync serializa migrações concorrentes com pg_advisory_lock (AC-8). - Testes: WorkerHost de ponta a ponta (WebApplicationFactory) e migrações concorrentes. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…orker (specs 005, 006, 009) - schemas/messages: start-pipeline-run.v1 e run-event.v1, validados contra os payloads reais. - CI: instala pango para o weasyprint (CS-2) no job Linux, que roda os testes de fila e worker. - README: fila, worker, agendamento, eventos e WorkerHost. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…(spec 005) Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…uplo seguro (spec 006) - O StepWorker limita os passos simultâneos com um semáforo de MaxConcurrency: após a recuperação da conexão AMQP, o canal novo recebe entregas enquanto as antigas ainda executam (AC-8). - Os CancellationTokenSource de parada não são mais descartados: um segundo StopAsync do host não quebra o primeiro, que ainda aguarda os passos em andamento. - Testes de cron com relógio simulado alinhado ao segundo 30 (um avanço = uma ocorrência). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…de consumo (specs 005, 006) Um StopAsync logo após o StartAsync (ex.: start que falha) zerava o campo antes de a tarefa lê-lo. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Resumo
Execução assíncrona de Stages e trilhas: um passo por mensagem no RabbitMQ, worker com lease e retry, agendamento cron, comando público
StartPipelineRune eventos de execução. Inclui oWorkerHoststandalone.Pacotes novos
PythonScriptRunner.RabbitMQ(spec 005):IRunQueuetransacional;StartPipelineRun(run.queued/run.rejected);psr.control;IRunEventHandler, duráveis ou por instância;traceparent, métricas e health check.PythonScriptRunner.Worker(spec 006):ExecuteStepcom lease renovado;PendingFIFO);AddPythonScriptRunnerChecks(banco, broker, uv).hosts/WorkerHost+ServiceDefaults(parte da spec 009):/health/livee/health/ready;PSR_AUTO_MIGRATE.Mudanças nos pacotes existentes
IRunEngine.ExecuteStepAsyncexecuta uma tentativa de um passo sem gravar nada (D-102);BindInputs;RunOptions.CorrelationId.AsyncRunLifecycleconcentra a lógica transacional assíncrona: criação, claim, conclusão, reaper,Pendinge cron;IRunMessageOutboxé o ponto de extensão das mensagens;PsrClock, alinhado ao relógio do PostgreSQL;AsyncRuns(runs.trigger_details);pg_advisory_lock.schemas/messages/start-pipeline-run.v1.jsonerun-event.v1.json, validados contra os payloads reais.Decisões da fase
runs.trigger_details(missedOccurrences,scheduledFor,scheduleId)rabbitmq:3.13(versão mínima suportada)Mudanças aditivas aos contratos
psr.execute-step.v1ganhoucauseetriggeredBy.psr.pipeline.starttambém temx-delivery-limit.stageVersion,trigger,retryAtetriggerDetails.Scheduler.DefaultTimeZoneno worker: o fuso padrão é o deScheduleData.Testes
Tudo roda com PostgreSQL 16, RabbitMQ 3.13 e Mailpit via Testcontainers.
WebApplicationFactory) e AC-8 (migrações concorrentes).Spec006_AC02, weasyprint), que roda só no job Ubuntu do CI.dotnet format --verify-no-changessem pendências.🤖 Generated with Claude Code