Skip to content

Fase 7: hosts e DevOps — imagens, Aspire, release e arquivos open source (spec 009) - #9

Merged
net0well merged 14 commits into
mainfrom
fase-7/hosts-devops
Oct 21, 2026
Merged

net0well merged 14 commits into
mainfrom
fase-7/hosts-devops

Conversation

@net0well

@net0well net0well commented Oct 21, 2026 •

Copy link
Copy Markdown
Collaborator

Resumo

Fase 7: hosts e DevOps (spec 009). Imagens Docker dos hosts, AppHost do .NET Aspire com geração de docker-compose, versão por tag, release automatizado (nuget.org, GHCR, GitHub Release e PyPI) e os arquivos open source em inglês. Inclui a correção do limite de memória no Linux (spec 001), achada ao rodar etapas com numpy nas imagens.

Imagens dos hosts

  • Dockerfiles multi-stage de WorkerHost e DashboardHost:
    • imagem final aspnet:10.0 com o uv 0.13.4 e o usuário não-root psr (uid 10001);
    • porta 8080 e volumes /var/lib/psr/envs, /var/lib/psr/python e /tmp/psr;
    • funcionam com a raiz somente leitura;
    • o build compila na arquitetura da máquina e publica para a de destino, então o multi-arch não depende de emulação.
  • O wheel do psrunner do mesmo commit vai na imagem, e o entrypoint aponta PsrunnerRequirement para ele.
  • O painel do DashboardHost é compilado numa etapa Node 24 (-p:PsrPanelPrebuilt=true).
  • PSR_PREINSTALL_PYTHON (opcional) instala o intérprete no build.
  • Correções para a raiz somente leitura:
    • o padrão de EnvironmentCacheRoot criava ~/.local/share só ao construir as opções;
    • a checagem de sintaxe criava /tmp/psr-syntax;
    • os temporários vão para TMPDIR=/tmp/psr/tmp.

Limite de memória no Linux (spec 001, D-180)

Etapas com numpy morriam como INTERRUPTED em máquinas com muitos núcleos. O RLIMIT_AS conta memória reservada, e o OpenBLAS reserva memória por thread: com 24 CPUs, só o import numpy passava de 1 GB.

  • cgroup v2, quando o host pode delegar (systemd com Delegate=yes, contêiner privilegiado como root):
    • cada tentativa ganha psr-runs/<id> com memory.max e sem swap;
    • o OOM do kernel vira MemoryLimitExceeded (OUT_OF_MEMORY);
    • a árvore é encerrada com cgroup.kill.
  • Plano B (contêiner padrão): RLIMIT_AS, e as bibliotecas numéricas limitadas a ThreadsPerProcess threads. A opção é nova; sem valor, vale 1 no plano B.
  • O modo usado é registrado uma vez no log.

AppHost do Aspire

  • dotnet run --project hosts/PythonScriptRunner.AppHost (Aspire 13.6.2) sobe:
    • PostgreSQL 16 e RabbitMQ 3.13;
    • Mailpit;
    • WorkerHost e DashboardHost;
    • o painel em modo dev, com hot reload.
  • 4 usuários de desenvolvimento, um por papel, com a senha psr-dev.
  • aspire publish gera o docker-compose com as imagens ghcr.io/scriptrunnerkit/psr-*:${PSR_VERSION:-latest}. O painel fica em ${PSR_DASHBOARD_PORT:-8080}.

Versão e release

  • MinVer 8.0.0: a tag vX.Y.Z dá a mesma versão aos 7 pacotes; sem tag, 0.1.0-alpha.0.N. Os pacotes levam o README.
  • release.yml (tag v*):
    • roda o CI completo no commit da tag;
    • depois da aprovação no environment release, publica os 7 pacotes no nuget.org por trusted publishing;
    • publica as imagens multi-arch no GHCR, com SBOM e proveniência;
    • cria o GitHub Release com a seção do CHANGELOG.
  • release-python.yml (tag python/v*): publica o psrunner no PyPI por OIDC.
  • Dependabot semanal: NuGet, npm, uv e GitHub Actions; minor e patch agrupados.

CI

  • ci.yml reutilizável pelo release, com histórico completo para o MinVer.
  • Empacotamento em modo de teste: 7 pacotes, uma versão e os pacotes de símbolos.
  • Novos jobs:
    • Containers: imagens com cache; AC-3, AC-7, AC-8 e AC-30;
    • Aspire AppHost: AC-1 e AC-2.
  • O job de formato vira Quality, com auditoria de dependências: NuGet (inclui transitivos), npm (high e critical) e pip-audit.

Organização e arquivos open source

  • O projeto agora fica em ScriptRunnerKit/PythonScriptRunner. Foram atualizados:
    • as URLs dos pacotes e o $id dos JSON Schemas;
    • os rótulos OCI;
    • a autoria, agora "ScriptRunnerKit contributors".
  • README em inglês, com o mesmo conteúdo e as seções novas:
    • pacotes e imagens;
    • volumes e limites de memória;
    • exemplo de Kubernetes;
    • Aspire e compose;
    • matriz de compatibilidade.
  • Novos CONTRIBUTING.md, CHANGELOG.md e SECURITY.md:
    • CHANGELOG: a seção [0.1.0] vira as notas do release;
    • SECURITY: modelo de autores confiáveis, sem sandbox.

Testes novos

  • PythonScriptRunner.Containers.Tests (Linux, Docker):
    • AC-7: não-root, raiz somente leitura, health checks;
    • AC-8: migração uma vez com dois hosts;
    • worker ≤ 400 MB;
    • AC-30: OOM pelo cgroup e numpy sem limite de threads;
    • AC-3: compose do aspire publish rodando o CS-1.
  • PythonScriptRunner.AppHost.Tests (Aspire.Hosting.Testing):
    • AC-1: recursos no ar e OTLP configurado;
    • AC-2: CS-1, e no Linux também CS-2 com o e-mail no Mailpit.
  • Core: testes unitários do cgroup sobre um sistema de arquivos falso; AC-29 (threads no plano B e valor configurado).
  • pytest: entrada no cgroup e plano B.

Correções depois da abertura do PR

  • Volume de log (D-187): os hosts gravavam ~4 linhas/s; no console do Aspire eram mais de 2000 registros em poucos minutos.

    • Quase tudo era o EF Core registrando em Information a busca do relay no outbox, que roda a cada 250 ms.
    • O PsrDbContext agora registra os comandos executados em Debug; comandos com falha continuam como erro.
    • Nos hosts, Microsoft.AspNetCore vai para Warning, porque os traces já cobrem as requisições.
    • Medido: o worker passou de ~280 para 8 linhas em 70 s, só as de inicialização.
  • AC-11 da spec 001 no CI do Linux:

    • No plano B do limite de memória, o runner define as variáveis de threads.
    • O teste do ambiente limpo as tratava como herdadas do host; agora usa a lista do próprio executor.
  • Alertas do Dependabot na main:

    • dompurify (2 alertas de severidade baixa): o Monaco 0.57.0 fixa a versão 3.4.15. Um overrides no package.json força a 3.4.16, a primeira corrigida. Agora o npm audit --omit=dev dá 0. Os alertas fecham sozinhos quando o PR entrar na main.
    • braces (alerta alto, sem versão corrigida): vem só da ferramenta de lint (@vue/eslint-config-typescript → fast-glob) e os padrões de glob são fixos. Foi dispensado no GitHub como risco tolerável, com a justificativa registrada.

Escolhas de implementação para revisar

  • AC-30 roda o contêiner privilegiado como root: é o único jeito de ter cgroup delegável no Docker. As imagens publicadas continuam não-root e usam o plano B.
  • No CI, o teste do compose (AC-3) usa as imagens recém-construídas com o nome do GHCR. Sem o CLI do Aspire, ele é pulado.
  • O compose gerado mantém o ambiente de desenvolvimento: usuários psr-dev, Mailpit e segredos SMTP de teste. O README e o SECURITY avisam para trocar antes de expor.

Verificação local

Windows 11 com Docker Desktop:

  • dotnet build e dotnet format --verify-no-changes ✅
  • Testes de unidade, integração e painel (SemE2E.slnf): 208 testes, 0 falhas (antes das correções; o teste novo do log passa). 2 ignorados, porque só rodam no Linux (CS-2 com weasyprint) ✅
  • Containers.Tests: 5/5 (AC-3 com aspire publish + docker compose up, AC-7, AC-8, tamanho do worker e AC-30) ✅
  • AppHost.Tests: 1/1 (AC-1 e AC-2; o CS-2 só roda no Linux) ✅
  • E2E do painel: 22/22 ✅
  • Painel: lint, tipos, api:check, Vitest (39/39) e build (265 KB gzip) ✅
  • psrunner: ruff, mypy e pytest (58/58) ✅
  • dotnet pack: 7 pacotes 0.1.0-alpha.0.19 com os .snupkg e o README em inglês ✅

Depois do merge

  • Tornar o repositório público e configurar:
    • ruleset da main;
    • secret scanning, CodeQL e reporte privado de vulnerabilidades;
    • environments release e pypi.
  • Configurar o trusted publishing no nuget.org e no PyPI.
  • Tags python/v0.1.0 e v0.1.0 (AC-5 e AC-6).

🤖 Generated with Claude Code

net0well and others added 14 commits October 20, 2026 22:54
- MinVer 8.0.0 em todos os projetos (D-179). A tag vX.Y.Z dá a mesma versão aos 7
  pacotes; sem tag, a versão é 0.1.0-alpha.0.N. Tags python/vX.Y.Z são do psrunner
  e o MinVer as ignora.
- Os pacotes levam o README do repositório.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- Dockerfiles multi-stage do WorkerHost e do DashboardHost. A imagem final é
  aspnet:10.0 com o uv 0.13.4 (D-173) e usuário não-root psr (uid 10001). Os
  volumes são /var/lib/psr/envs (com o cache do uv), /var/lib/psr/python e /tmp/psr.
  PSR_PREINSTALL_PYTHON é opcional. O build compila no SDK 10.0.402 na arquitetura
  da máquina e publica para a de destino, então o multi-arch não depende de emulação.
- O wheel do psrunner do mesmo commit vai na imagem (D-169); o entrypoint aponta
  PsrunnerRequirement para ele, a menos que a variável venha definida.
- Dashboard: o painel é compilado numa etapa Node 24 e o MSBuild só embute o dist
  (-p:PsrPanelPrebuilt=true).
- Core: o padrão de EnvironmentCacheRoot criava ~/.local/share só de construir as
  opções. Num contêiner com sistema de arquivos somente leitura isso derrubava o host.
- Testes (Linux): PythonScriptRunner.Containers.Tests cobre AC-7 (não-root, raiz
  somente leitura, health checks, psrunner embutido, painel servido), AC-8 (dois
  workers com PSR_AUTO_MIGRATE aplicam as migrações uma vez) e worker ≤ 400 MB.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- hosts/PythonScriptRunner.AppHost com Aspire 13.6.2 (D-171), sobe tudo com um
  comando:
  - PostgreSQL 16 com volume e RabbitMQ 3.13 com a interface de gerenciamento;
  - Mailpit v1.27.0 (D-172);
  - WorkerHost e DashboardHost (PSR_AUTO_MIGRATE). O DashboardHost tem login fixo
    com 4 usuários de dev, um por papel, senha psr-dev; o hash fica na configuração
    do AppHost (D-133, D-177);
  - o painel Vue em modo dev (AddViteApp), com proxy para o DashboardHost.
- Em dev, o psrunner vem do próprio repositório. No `aspire publish`, um ambiente
  Docker Compose usa os Dockerfiles dos hosts (as mesmas imagens do GHCR).
- Testes (Aspire.Hosting.Testing):
  - AC-1: worker, dashboard, Mailpit e painel sobem, e os hosts recebem o endpoint
    OTLP do dashboard do Aspire;
  - AC-2: o autor importa e publica as fixtures pela API e roda o CS-1 e, no Linux,
    o CS-2, com o e-mail chegando no Mailpit.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ec 001)

Etapas com numpy morriam como INTERRUPTED em máquinas com muitos núcleos. No Linux o
limite era RLIMIT_AS, que conta memória reservada, e o OpenBLAS reserva memória por
thread: com 24 CPUs, só o `import numpy` passava do limite padrão de 1 GB (D-180).

- Onde o host pode criar sub-cgroups (systemd com Delegate=yes, contêiner
  privilegiado como root), o runner usa cgroup v2:
  - move os próprios processos para psr-host e liga o controlador memory;
  - cada tentativa ganha psr-runs/<id> com memory.max, e o SDK entra nele antes de
    importar o script;
  - o OOM do kernel vira MemoryLimitExceeded (oom_kill em memory.events), a árvore é
    encerrada com cgroup.kill e o cgroup é removido.
- Plano B (contêiner padrão, com o cgroup somente leitura): RLIMIT_AS e
  OMP/OPENBLAS/MKL/NUMEXPR/VECLIB limitados a ThreadsPerProcess. A opção é nova;
  nula, vale 1 no plano B e sem limite com cgroup. O modo usado é registrado uma vez.
- Testes: unitários da montagem do cgroup sobre um sistema de arquivos falso; AC-29
  (threads no plano B e valor configurado); pytest da entrada no cgroup e do plano
  B; AC-30 em contêiner privilegiado (OOM pelo kernel, numpy sem limite de threads).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Com a raiz somente leitura, a publicação de uma Etapa falhava: a checagem de
sintaxe criava /tmp/psr-syntax. Ela agora usa o WorkRoot. As imagens apontam
TMPDIR para /tmp/psr/tmp, criado pelo entrypoint; lá vão o buffer de requisições
do ASP.NET Core e o spool de arquivos.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- No compose, o PostgreSQL cria o banco psr, e os hosts usam as imagens
  ghcr.io/net0well/psr-*:${PSR_VERSION:-latest} com restart unless-stopped. O
  painel fica em ${PSR_DASHBOARD_PORT:-8080}.
- AC-3: teste que roda `aspire publish`, sobe o `docker compose up` com as imagens
  em teste e roda o CS-1 pela API. Pula se o CLI do Aspire não estiver instalado.
- O helper da API do painel (login, importação, publicação e execuções) é
  compartilhado entre os testes do AppHost e os de contêiner.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
O repositório foi transferido de net0well para ScriptRunnerKit antes da v0.1.0
(D-182), com histórico, PRs, workflows e secrets. O endereço antigo redireciona.

- URLs do projeto e dos pacotes NuGet, `$id` dos JSON Schemas (e a base do Core) e
  o link do SDK passam a apontar para ScriptRunnerKit/PythonScriptRunner.
- Imagens: ghcr.io/scriptrunnerkit/psr-worker e psr-dashboard, com os rótulos OCI
  (o source liga a imagem ao repositório no GHCR).
- Autoria: "ScriptRunnerKit contributors" na LICENSE, nos pacotes e no SDK (D-185).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
NuGet, npm (painel), uv (SDK Python) e GitHub Actions, com as versões minor e patch
agrupadas por ecossistema. As majors chegam uma a uma, para revisar contra as
decisões que fixaram cada versão (D-184).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
… 009)

- O ci.yml fica reutilizável (workflow_call): o release roda as mesmas checagens
  no commit da tag antes de publicar qualquer coisa.
- Checkout com histórico completo, para o MinVer calcular a versão.
- AC-5 em modo de teste: `dotnet pack` dos 7 pacotes, conferindo uma versão só e
  os pacotes de símbolos.
- Job Containers: constrói as imagens com cache e roda AC-3 (compose do
  `aspire publish`), AC-7, AC-8 e AC-30 (cgroup).
- Job Aspire AppHost: AC-1 e AC-2 (CS-1 e CS-2 com o e-mail no Mailpit).
- O job de formato vira Quality e audita pacotes vulneráveis: NuGet com os
  transitivos, npm do painel (high e critical) e pip do SDK.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- release.yml (tag vX.Y.Z), AC-5:
  - roda o CI completo no commit da tag e só então publica;
  - os 7 pacotes vão para o nuget.org por trusted publishing (OIDC; D-170) no
    environment `release`, que pede aprovação, depois de conferir que todos têm a
    versão da tag;
  - as imagens psr-worker e psr-dashboard vão para o GHCR em amd64 e arm64, com
    SBOM e proveniência, nas tags X.Y.Z, X.Y e latest (pré-versões só com X.Y.Z);
  - o GitHub Release usa a seção da versão no CHANGELOG e anexa os pacotes.
- release-python.yml (tag python/vX.Y.Z), AC-6: CI completo, confere a versão em
  `_version.py`, gera sdist e wheel e publica no PyPI por OIDC (environment `pypi`).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
O README (que também vai para o nuget.org) passa para o inglês com o mesmo
conteúdo e ganha as seções da fase 7: pacotes, imagens no GHCR, volumes e
sistema de arquivos somente leitura, limites de memória (cgroup v2 ou
RLIMIT_AS + ThreadsPerProcess), exemplo de Kubernetes, ambiente Aspire,
docker-compose pelo aspire publish e a matriz de compatibilidade (D-178).

CHANGELOG segue o Keep a Changelog; a seção [0.1.0] vira as notas do
GitHub Release. SECURITY descreve o modelo de segurança (autores
confiáveis, sem sandbox) e o reporte privado pelo GitHub. CONTRIBUTING
lista pré-requisitos, as verificações do CI e o processo de release (D-186).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Os hosts gravavam ~4 linhas de log por segundo, quase todas do EF Core
registrando em Information a busca do relay no outbox, que roda a cada
250 ms (D-58). Em poucos minutos o console do Aspire passava de 2000
registros.

- O PsrDbContext registra os comandos executados em Debug; comandos com
  falha continuam como erro. Vale para qualquer aplicação que use o pacote,
  não só os hosts (D-187).
- Nos hosts, Microsoft.AspNetCore vai para Warning: os traces já cobrem as
  requisições, e Serilog:MinimumLevel:Override muda isso.
- Teste: os comandos executados chegam ao logger em Debug.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
No Linux sem cgroup delegável (como nos runners do GitHub), o limite de
memória cai no RLIMIT_AS e o runner define OMP/OPENBLAS/MKL/NUMEXPR/VECLIB
(D-180). O AC-11 tratava essas variáveis como herdadas do host e falhava
no CI do Linux. O teste agora usa a lista do próprio executor.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…pec 008)

O monaco-editor 0.57.0, a versão mais recente, fixa o dompurify 3.4.15, que
tem dois alertas de severidade baixa: GHSA de IN_PLACE com marcação perigosa
e handlers de eventos em subárvores removidas. Um override em package.json
força a 3.4.16, a primeira versão corrigida. Depois disso, o npm audit das
dependências de runtime fica sem alertas.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@net0well
net0well merged commit 8defe70 into main Oct 21, 2026
11 checks passed
@net0well
net0well deleted the fase-7/hosts-devops branch October 21, 2026 04:25
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant