Repository navigation
Fase 7: hosts e DevOps — imagens, Aspire, release e arquivos open source (spec 009) - #9
Merged
Merged
Conversation
- MinVer 8.0.0 em todos os projetos (D-179). A tag vX.Y.Z dá a mesma versão aos 7 pacotes; sem tag, a versão é 0.1.0-alpha.0.N. Tags python/vX.Y.Z são do psrunner e o MinVer as ignora. - Os pacotes levam o README do repositório. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- Dockerfiles multi-stage do WorkerHost e do DashboardHost. A imagem final é aspnet:10.0 com o uv 0.13.4 (D-173) e usuário não-root psr (uid 10001). Os volumes são /var/lib/psr/envs (com o cache do uv), /var/lib/psr/python e /tmp/psr. PSR_PREINSTALL_PYTHON é opcional. O build compila no SDK 10.0.402 na arquitetura da máquina e publica para a de destino, então o multi-arch não depende de emulação. - O wheel do psrunner do mesmo commit vai na imagem (D-169); o entrypoint aponta PsrunnerRequirement para ele, a menos que a variável venha definida. - Dashboard: o painel é compilado numa etapa Node 24 e o MSBuild só embute o dist (-p:PsrPanelPrebuilt=true). - Core: o padrão de EnvironmentCacheRoot criava ~/.local/share só de construir as opções. Num contêiner com sistema de arquivos somente leitura isso derrubava o host. - Testes (Linux): PythonScriptRunner.Containers.Tests cobre AC-7 (não-root, raiz somente leitura, health checks, psrunner embutido, painel servido), AC-8 (dois workers com PSR_AUTO_MIGRATE aplicam as migrações uma vez) e worker ≤ 400 MB. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- hosts/PythonScriptRunner.AppHost com Aspire 13.6.2 (D-171), sobe tudo com um
comando:
- PostgreSQL 16 com volume e RabbitMQ 3.13 com a interface de gerenciamento;
- Mailpit v1.27.0 (D-172);
- WorkerHost e DashboardHost (PSR_AUTO_MIGRATE). O DashboardHost tem login fixo
com 4 usuários de dev, um por papel, senha psr-dev; o hash fica na configuração
do AppHost (D-133, D-177);
- o painel Vue em modo dev (AddViteApp), com proxy para o DashboardHost.
- Em dev, o psrunner vem do próprio repositório. No `aspire publish`, um ambiente
Docker Compose usa os Dockerfiles dos hosts (as mesmas imagens do GHCR).
- Testes (Aspire.Hosting.Testing):
- AC-1: worker, dashboard, Mailpit e painel sobem, e os hosts recebem o endpoint
OTLP do dashboard do Aspire;
- AC-2: o autor importa e publica as fixtures pela API e roda o CS-1 e, no Linux,
o CS-2, com o e-mail chegando no Mailpit.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ec 001)
Etapas com numpy morriam como INTERRUPTED em máquinas com muitos núcleos. No Linux o
limite era RLIMIT_AS, que conta memória reservada, e o OpenBLAS reserva memória por
thread: com 24 CPUs, só o `import numpy` passava do limite padrão de 1 GB (D-180).
- Onde o host pode criar sub-cgroups (systemd com Delegate=yes, contêiner
privilegiado como root), o runner usa cgroup v2:
- move os próprios processos para psr-host e liga o controlador memory;
- cada tentativa ganha psr-runs/<id> com memory.max, e o SDK entra nele antes de
importar o script;
- o OOM do kernel vira MemoryLimitExceeded (oom_kill em memory.events), a árvore é
encerrada com cgroup.kill e o cgroup é removido.
- Plano B (contêiner padrão, com o cgroup somente leitura): RLIMIT_AS e
OMP/OPENBLAS/MKL/NUMEXPR/VECLIB limitados a ThreadsPerProcess. A opção é nova;
nula, vale 1 no plano B e sem limite com cgroup. O modo usado é registrado uma vez.
- Testes: unitários da montagem do cgroup sobre um sistema de arquivos falso; AC-29
(threads no plano B e valor configurado); pytest da entrada no cgroup e do plano
B; AC-30 em contêiner privilegiado (OOM pelo kernel, numpy sem limite de threads).
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Com a raiz somente leitura, a publicação de uma Etapa falhava: a checagem de sintaxe criava /tmp/psr-syntax. Ela agora usa o WorkRoot. As imagens apontam TMPDIR para /tmp/psr/tmp, criado pelo entrypoint; lá vão o buffer de requisições do ASP.NET Core e o spool de arquivos. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- No compose, o PostgreSQL cria o banco psr, e os hosts usam as imagens
ghcr.io/net0well/psr-*:${PSR_VERSION:-latest} com restart unless-stopped. O
painel fica em ${PSR_DASHBOARD_PORT:-8080}.
- AC-3: teste que roda `aspire publish`, sobe o `docker compose up` com as imagens
em teste e roda o CS-1 pela API. Pula se o CLI do Aspire não estiver instalado.
- O helper da API do painel (login, importação, publicação e execuções) é
compartilhado entre os testes do AppHost e os de contêiner.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
O repositório foi transferido de net0well para ScriptRunnerKit antes da v0.1.0 (D-182), com histórico, PRs, workflows e secrets. O endereço antigo redireciona. - URLs do projeto e dos pacotes NuGet, `$id` dos JSON Schemas (e a base do Core) e o link do SDK passam a apontar para ScriptRunnerKit/PythonScriptRunner. - Imagens: ghcr.io/scriptrunnerkit/psr-worker e psr-dashboard, com os rótulos OCI (o source liga a imagem ao repositório no GHCR). - Autoria: "ScriptRunnerKit contributors" na LICENSE, nos pacotes e no SDK (D-185). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
NuGet, npm (painel), uv (SDK Python) e GitHub Actions, com as versões minor e patch agrupadas por ecossistema. As majors chegam uma a uma, para revisar contra as decisões que fixaram cada versão (D-184). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
… 009) - O ci.yml fica reutilizável (workflow_call): o release roda as mesmas checagens no commit da tag antes de publicar qualquer coisa. - Checkout com histórico completo, para o MinVer calcular a versão. - AC-5 em modo de teste: `dotnet pack` dos 7 pacotes, conferindo uma versão só e os pacotes de símbolos. - Job Containers: constrói as imagens com cache e roda AC-3 (compose do `aspire publish`), AC-7, AC-8 e AC-30 (cgroup). - Job Aspire AppHost: AC-1 e AC-2 (CS-1 e CS-2 com o e-mail no Mailpit). - O job de formato vira Quality e audita pacotes vulneráveis: NuGet com os transitivos, npm do painel (high e critical) e pip do SDK. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
- release.yml (tag vX.Y.Z), AC-5:
- roda o CI completo no commit da tag e só então publica;
- os 7 pacotes vão para o nuget.org por trusted publishing (OIDC; D-170) no
environment `release`, que pede aprovação, depois de conferir que todos têm a
versão da tag;
- as imagens psr-worker e psr-dashboard vão para o GHCR em amd64 e arm64, com
SBOM e proveniência, nas tags X.Y.Z, X.Y e latest (pré-versões só com X.Y.Z);
- o GitHub Release usa a seção da versão no CHANGELOG e anexa os pacotes.
- release-python.yml (tag python/vX.Y.Z), AC-6: CI completo, confere a versão em
`_version.py`, gera sdist e wheel e publica no PyPI por OIDC (environment `pypi`).
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
O README (que também vai para o nuget.org) passa para o inglês com o mesmo conteúdo e ganha as seções da fase 7: pacotes, imagens no GHCR, volumes e sistema de arquivos somente leitura, limites de memória (cgroup v2 ou RLIMIT_AS + ThreadsPerProcess), exemplo de Kubernetes, ambiente Aspire, docker-compose pelo aspire publish e a matriz de compatibilidade (D-178). CHANGELOG segue o Keep a Changelog; a seção [0.1.0] vira as notas do GitHub Release. SECURITY descreve o modelo de segurança (autores confiáveis, sem sandbox) e o reporte privado pelo GitHub. CONTRIBUTING lista pré-requisitos, as verificações do CI e o processo de release (D-186). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Os hosts gravavam ~4 linhas de log por segundo, quase todas do EF Core registrando em Information a busca do relay no outbox, que roda a cada 250 ms (D-58). Em poucos minutos o console do Aspire passava de 2000 registros. - O PsrDbContext registra os comandos executados em Debug; comandos com falha continuam como erro. Vale para qualquer aplicação que use o pacote, não só os hosts (D-187). - Nos hosts, Microsoft.AspNetCore vai para Warning: os traces já cobrem as requisições, e Serilog:MinimumLevel:Override muda isso. - Teste: os comandos executados chegam ao logger em Debug. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
No Linux sem cgroup delegável (como nos runners do GitHub), o limite de memória cai no RLIMIT_AS e o runner define OMP/OPENBLAS/MKL/NUMEXPR/VECLIB (D-180). O AC-11 tratava essas variáveis como herdadas do host e falhava no CI do Linux. O teste agora usa a lista do próprio executor. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…pec 008) O monaco-editor 0.57.0, a versão mais recente, fixa o dompurify 3.4.15, que tem dois alertas de severidade baixa: GHSA de IN_PLACE com marcação perigosa e handlers de eventos em subárvores removidas. Um override em package.json força a 3.4.16, a primeira versão corrigida. Depois disso, o npm audit das dependências de runtime fica sem alertas. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Resumo
Fase 7: hosts e DevOps (spec 009). Imagens Docker dos hosts, AppHost do .NET Aspire com geração de docker-compose, versão por tag, release automatizado (nuget.org, GHCR, GitHub Release e PyPI) e os arquivos open source em inglês. Inclui a correção do limite de memória no Linux (spec 001), achada ao rodar etapas com numpy nas imagens.
Imagens dos hosts
WorkerHosteDashboardHost:aspnet:10.0com o uv 0.13.4 e o usuário não-rootpsr(uid 10001);/var/lib/psr/envs,/var/lib/psr/pythone/tmp/psr;psrunnerdo mesmo commit vai na imagem, e o entrypoint apontaPsrunnerRequirementpara ele.-p:PsrPanelPrebuilt=true).PSR_PREINSTALL_PYTHON(opcional) instala o intérprete no build.EnvironmentCacheRootcriava~/.local/sharesó ao construir as opções;/tmp/psr-syntax;TMPDIR=/tmp/psr/tmp.Limite de memória no Linux (spec 001, D-180)
Etapas com numpy morriam como
INTERRUPTEDem máquinas com muitos núcleos. ORLIMIT_ASconta memória reservada, e o OpenBLAS reserva memória por thread: com 24 CPUs, só oimport numpypassava de 1 GB.Delegate=yes, contêiner privilegiado como root):psr-runs/<id>commemory.maxe sem swap;MemoryLimitExceeded(OUT_OF_MEMORY);cgroup.kill.RLIMIT_AS, e as bibliotecas numéricas limitadas aThreadsPerProcessthreads. A opção é nova; sem valor, vale 1 no plano B.AppHost do Aspire
dotnet run --project hosts/PythonScriptRunner.AppHost(Aspire 13.6.2) sobe:psr-dev.aspire publishgera o docker-compose com as imagensghcr.io/scriptrunnerkit/psr-*:${PSR_VERSION:-latest}. O painel fica em${PSR_DASHBOARD_PORT:-8080}.Versão e release
vX.Y.Zdá a mesma versão aos 7 pacotes; sem tag,0.1.0-alpha.0.N. Os pacotes levam o README.release.yml(tagv*):release, publica os 7 pacotes no nuget.org por trusted publishing;release-python.yml(tagpython/v*): publica opsrunnerno PyPI por OIDC.CI
ci.ymlreutilizável pelo release, com histórico completo para o MinVer.Containers: imagens com cache; AC-3, AC-7, AC-8 e AC-30;Aspire AppHost: AC-1 e AC-2.Quality, com auditoria de dependências: NuGet (inclui transitivos), npm (high e critical) epip-audit.Organização e arquivos open source
ScriptRunnerKit/PythonScriptRunner. Foram atualizados:$iddos JSON Schemas;CONTRIBUTING.md,CHANGELOG.mdeSECURITY.md:[0.1.0]vira as notas do release;Testes novos
PythonScriptRunner.Containers.Tests(Linux, Docker):aspire publishrodando o CS-1.PythonScriptRunner.AppHost.Tests(Aspire.Hosting.Testing):Correções depois da abertura do PR
Volume de log (D-187): os hosts gravavam ~4 linhas/s; no console do Aspire eram mais de 2000 registros em poucos minutos.
PsrDbContextagora registra os comandos executados em Debug; comandos com falha continuam como erro.Microsoft.AspNetCorevai para Warning, porque os traces já cobrem as requisições.AC-11 da spec 001 no CI do Linux:
Alertas do Dependabot na
main:dompurify(2 alertas de severidade baixa): o Monaco 0.57.0 fixa a versão 3.4.15. Umoverridesnopackage.jsonforça a 3.4.16, a primeira corrigida. Agora onpm audit --omit=devdá 0. Os alertas fecham sozinhos quando o PR entrar namain.braces(alerta alto, sem versão corrigida): vem só da ferramenta de lint (@vue/eslint-config-typescript→fast-glob) e os padrões de glob são fixos. Foi dispensado no GitHub como risco tolerável, com a justificativa registrada.Escolhas de implementação para revisar
psr-dev, Mailpit e segredos SMTP de teste. O README e o SECURITY avisam para trocar antes de expor.Verificação local
Windows 11 com Docker Desktop:
dotnet buildedotnet format --verify-no-changes✅SemE2E.slnf): 208 testes, 0 falhas (antes das correções; o teste novo do log passa). 2 ignorados, porque só rodam no Linux (CS-2 com weasyprint) ✅Containers.Tests: 5/5 (AC-3 comaspire publish+docker compose up, AC-7, AC-8, tamanho do worker e AC-30) ✅AppHost.Tests: 1/1 (AC-1 e AC-2; o CS-2 só roda no Linux) ✅api:check, Vitest (39/39) e build (265 KB gzip) ✅dotnet pack: 7 pacotes0.1.0-alpha.0.19com os.snupkge o README em inglês ✅Depois do merge
main;releaseepypi.python/v0.1.0ev0.1.0(AC-5 e AC-6).🤖 Generated with Claude Code