Rédigé le 2026-11-18, en lecture seule, puis corrigé le même jour après deux relectures (review/lot4-review.md, review/cross-lot-review.md) et les arbitrages review/01-arbitrages.md (journal au §10). Base vérifiée :
EE/ = CMC-event-engine origin/main 339a038 (déployé) ;AU/ = CMC-automations origin/main a9f205b ;LIVE/<id>.json) ;wip/n8n-upgrade-research/pkgs/x/ (n8n 2.42.7, nodes-base 2.42.5) : « vérifié sur 2.42, à reconfirmer sur 2.47.3 ».Chemins : EE/ = wip/audit-ee-sources-20261118/event-engine/, AU/ = wip/audit-ee-sources-20261118/automations/, LIVE/ = wip/audit-ee-sources-20261118/live/. Les procédures P-GIT, P-API, P-COLLECTEUR, P-N8N sont dans plan/procedures.md ; ce lot ne garde que ses vérifications propres.
Add Tweet Manually réclame 1 860 s au lieu de 300 s.Normalize X Payload (un appel HTTP, un seul appelant) est intégré dans Process One Source, après 4g.json_object pour lui.Objectif. Rendre la voie X n8n (Process Source Queue, Process One Source, Normalize X Payload, Enrich X Context, X REST Context Request/Health, Add Tweet Manually, Audit Social Sources) plus simple à lire et à maintenir, et corriger quatre défauts concrets : historique d'exécutions trop court, échec silencieux d'une alerte de blocage, lecture non protégée des sites officiels, blocage d'une source par une coupure de l'API.
Non-objectifs.
x-stream-collector.Méthode : chaque Code node live comparé octet pour octet (avec et sans saut de ligne final) aux .js du dépôt, aux chaînes Python et aux fixtures ; sortie des builders exécutés hors ligne comparée au live par editable_hash (AU/tooling/n8n/deploy_workflow.py:63).
| Workflow (version live) | Code nodes | Dans un .js du dépôt |
Seulement dans une fixture | Reproduction complète du live |
|---|---|---|---|---|
Process One Source awrB2Ymt3iZPp14k (f8950ca5) |
25 | 19, plus 1 en chaîne Python (Source Processor Complete Return) |
5 : Build Captured Normalize Payload, Build Core Input, Plan Telegram Cadence, Source Processor Filtered Return, Source Processor Block Return |
Copie figée tests/fixtures/processor-live-20261116.json, même editable_hash ; aucun builder ne la produit. Deux Code nodes se terminent par un saut de ligne (Build Core Input, Plan Telegram Cadence). |
Process Source Queue o4cmp66lDjKDOF4v (d286da78) |
5 | 2 | 3, dont Format Source Processor Block Alert (= nodes/format_source_processor_block_alert.js + 3 adaptations recopiées dans tests/test_build_workflows.py:2123-2140) |
Copie figée tests/fixtures/queue-live-20261116.json, même hash. |
Normalize X Payload 9pA9xizup7Zcq846 (7b5092c8) |
0 (3 nœuds) | — | — | Absent du dépôt. |
Enrich X Context nBnnkylOa2NRUegp (ec2e2720) |
7 | 1 (tweetapi_source/nodes/prepare_x_space_lookup.js) |
5 | tests/fixtures/author-bio-enrich-after-20261112.json : contenu identique, mais la clé pinData manque, donc le hash diffère. |
X REST Context Request Zd31xS7GC4Y4bWEd (a29994f3) |
18 | 2 ; Check Presentation ×3 = gabarit nodes/x_presentation_fallback.js (__ALIAS__), vérifié à l'octet |
12 ; Validate Request et Restore tweetapi State dans aucune fixture |
tweetapi_source/build.py:candidates() reproduit le live (hash égal), mais depuis une base figée (guard(), build.py:117) : inapplicable au live actuel. Copie périmée dans operational_contracts/contracts.json. |
X REST Context Health vcCSryOBtb854lfq (9f96fa48) |
11 | 0 | 9 ; 2 dans aucune fixture | Même mécanisme figé (build.py:254). |
Add Tweet Manually GBqthchWnkVB2OsP (dd8478a7) |
3 | 0 | 3 | Même mécanisme figé (build.py:341). |
Audit Social Sources N1ZmFfrgKQ5o0m83 (79c0a990) |
11 | 9 | 2 (Runtime Config généré par runtime-config.mjs, Build X User Lookup Request) |
Conforme : coingecko_common/generated/workflow-audit.json = live (hash égal). |
Core 1nswAXAfsck9e9uC (2a0ea21b) |
2 | 2 | — | Non. 5 assignations de V4 Prompts sans fichier propre : prescreen_user_prompt_template (son texte coïncide à l'octet avec prompts/expert_user_prompt_template.txt, saut de ligne compris, mais ce n'est pas son fichier), cascade_system_prompt, cascade_user_prompt_template, media_evidence_system_prompt, identity_system_prompt. impact_scorer_system_prompt.txt et expert_system_prompt.txt sont exacts ; event_writing_contract, prescreen_system_prompt, expert_user_prompt_template, reconciliation_system_prompt ne correspondent qu'au saut de ligne final près. Les 15 modèles de V4 Config = CORE_V4_MODELS du lot 1 (plan/lot1.md, étape 10). |
X Stream Health zI4N5ZvqPLmKILSX (ba3d869b) |
— | — | — | Oui (x_stream_health/workflow.json) ; ses gardes de déploiement (deploy.py, build-workflow.mjs) visent encore def5b9be, et tweetapi_source/deploy.py:28-33 en porte une seconde (938cfc49). |
Constats liés :
origin/main : tests/test_build_workflows.py:1916 lève à build_workflows.py:2674 dans build_author_bio_core_candidate, une bascule du Core. Local : 218 réussis, 1 échec ; 187/187 tests Node./home/hapi : deploy_workflow.py:14, deploy_manifest.py:12. Appelants de N8nRestClient() sans cookie : coingecko_common/deploy.py:155, x_stream_health/deploy.py:38, failed_execs/deploy.py:38, event_social_notifier/deploy.py:34, deploy_manifest.py:63, gmail-support/patch_neutral_llm_contract.py:89. Deux cookies de session (accès administrateur à n8n Pro) traînent dans wip/ : wip/n8n_pro.cookies (11/11) et wip/sol62-switch-20261118/pro.cookies (18/11).N8nRestClient (deploy_workflow.py:431) n'a pas de deactivate, et deploy_guarded publie toujours (PATCH puis activate, :229-262).source_processor/deploy.py:validate_workflow_graph n'accepte qu'un déclencheur : échec sur X REST Health (Manual Trigger) et sur l'Audit (3 déclencheurs) ; passe sur les 5 autres (vérifié localement).source_item.id entier positif, attempt_no entier positif, attempt_count === attempt_no) avec 8 messages différents : Build Core Input, Build Decision Failure, Build Completion (lignes 104-113 du code live), Source Processor Complete Return (lignes 13-21), Source Processor Retry Return, Source Processor Filtered Return, Source Processor Block Return, Classify Screenshot Or Telegram Failure. Mêlé à de vrais contrôles croisés, qui restent.context_limitations, calculent cibles et champs de hard-stop, lèvent des erreurs ; ils lisent seulement $input.first(), Date.now() et BigInt (aucun $('…')).tweet.fields, expansions, media.fields, user.fields, poll.fields) sont identiques à l'octet, indentation comprise, dans les 3 planificateurs de lecture de posts (vérifié) ; deux patchs historiques ont dû les remplacer trois fois (build_workflows.py:2679-2693, :2877-2903).Prepare X Space Lookup est testé (tweetapi_source/tests/nodes.test.mjs:53-64).docs/N8N_WORKFLOW_DESIGN.md, signaux de revue) ; le code versionné peut tourner dans n8n. Option la plus petite (#63) : fichiers nodes/enrich/*.js testés hors n8n + un jeton de builder pour la liste de champs, sans aucun changement live. Le déplacement dans le backend ajouterait 4 appels obligatoires à l'API par post, donc 4 occasions de blocage non réessayable à chaque redémarrage de l'API par une autre session, un portage JS→Python délicat et deux sessions, sans supprimer une cause que l'option minimale laisse (aucun consommateur backend de ces planificateurs). Il passe en annexe B (non recommandé).tweetapi (passerelle x-gateway), puis cmcalbot, coin, exchange (bearers HSQHHRgUd42jPZsi, mhh5AjlmHRFJNjZH, f63nSge0wUbHqQYR). 39 nœuds, 12 HTTP, 18 Code (18 288 caractères).fallback_count (0/1/2). Restore tweetapi State suit le même gabarit. Health : Normalize <a> Probe Success/Error ×4 ne diffèrent que par $('Probe <a>?').fallback_count = 0 pour cmcalbot alors que TweetAPI passe avant : sans consommateur, inchangé.onError ; un seul appelant dans les exports (Call Twitter Normalize, continueErrorOutput → Source Processor Retry Return). Inventaire complet à refaire (§4).Execute Workflow renvoie {error: error.message} (nb42/.../ExecuteWorkflow.node.js:494-499), où message est le texte court de NodeApiError (ex. 500 → « The service was not able to process your request », ECONNREFUSED → « The service refused the connection - perhaps it is offline », wf/.../node-api.error.js:55-69, abstract/node.error.js:8). Intégré avec continueErrorOutput, le nœud HTTP renvoie json.error = responseData.reason brut (HttpRequestV3.node.js:638-650), dont le message vaut `${status} - ${JSON.stringify(body)}` (@n8n/backend-network/.../legacy-request.js:81) ; ce message, propriété non énumérable d'une Error, peut aussi disparaître à la sérialisation. Un corps 422 FastAPI recopie toute l'entrée (input, vérifié localement par TestClient) ; SourceFailure.message est limité à 4 000 caractères (EE/src/api/schemas.py:397) : POST /failure serait refusé, le Processor échouerait, la réclamation expirerait. Il faut donc d'abord borner le message dans Retry Return (sous-lot 4g), puis intégrer (4e).splitOut sur un champ absent rend zéro item avec un avertissement, sans erreur (SplitOut.node.js:150-157) : le cas « réponse sans items » arrête le Processor sans issue, aujourd'hui comme demain (réclamation abandonnée puis stale_claim_limit_reached) ; il reste théorique (items obligatoire et non vide, normalize.py:441-461). Pas de onError sur le splitOut.memory/feedback_n8n.md:86 (ne pas fusionner Normalize et Enrich) reste respecté : les gates entre les deux restent visibles dans le Processor.deploy.py à réécrire| Fichier | Base live figée | Importé par | Verdict |
|---|---|---|---|
deploy_alerts.py |
ALERT_PROCESSOR_VERSION (build_workflows.py:21) |
test_deploy_contract.py |
Supprimer |
deploy_queue_load_hardening.py |
443a8185 |
aucun | Supprimer |
deploy_retry_policy.py |
990b3253 / 08441d21 |
test_deploy_retry_policy.py, README |
Supprimer |
deploy_screenshot_hardening.py |
0147dd2c |
test_deploy_contract.py |
Supprimer |
deploy_stale_claim_guard.py |
b2101043 |
test_deploy_contract.py |
Supprimer |
deploy_telegram_readability.py |
990b3253 |
test_current_telegram_candidate.py |
Supprimer |
telegram_effect_failure.py (+ layout) |
7844afa5 |
test_telegram_effect_failure.py, README |
Supprimer |
autonomy_delivery.py (+ layout) |
paramètres | test_autonomy_delivery.py |
Supprimer |
deploy.py |
9f818026 (build_workflows.py:19) |
les scripts ci-dessus, deux tests | Réécrire (garde le drain deploy.py:162-190 et la réactivation :267-279) |
Tests à conserver en les déplaçant : dans test_current_telegram_candidate.py, les trois tests de rendu (…formats_held_review_with_stable_event_id, …preserves_complete_overflow_document, …humanizes_the_real_upbit_context_failure) ; dans test_deploy_contract.py, les tests de validate_workflow_graph.
errorWorkflow absent sur Processor, Normalize, Enrich (et Editorial Style Policy) ; présent sur X REST et Core (sous-workflows).errorWorkflow, même si le parent capte l'erreur (n8n-2.42.7/dist/execution-lifecycle/execution-lifecycle-hooks.js:420-447, :548-557, vérifié). Conséquences : ajouter errorWorkflow au Processor (parents Queue, Blog Collector, Add Tweet, tous avec errorWorkflow et sans onError) ou à Normalize/Enrich (erreurs déjà transformées en alerte de blocage) doublerait les alertes ; X REST double déjà les siennes (tous ses appelants alertent, vérifié dans les exports). Les données statiques sont sauvegardées même quand l'exécution ne l'est pas (:425) ; la ligne d'exécution existe pendant qu'elle tourne puis est supprimée (deleteInFlightExecution)./n8n-io/n8n-docs, @n8n/config 2.40.2) : sauvegarde de tout, PRUNE=true, 336 h, plafond 10000 exécutions, comptées globalement et supprimées des plus anciennes ; les exécutions annotées sont exclues de l'élagage.memory/feedback_n8n.md:435) ; docs/INFRASTRUCTURE.md:494 (« 2 à 3 jours ») est périmé.Telegram Source Processor Block Alert et Send Source Block Document sont en continueRegularOutput ; un refus Telegram non réessayable donne une exécution réussie, le backend ne reçoit qu'un error_code (nodes/build_block_alert_receipt.js) et passe block_alert.state à failed définitivement, sans alerte (EE/src/services/source_inbox.py:348-387, MAX_BLOCK_ALERT_DELIVERIES = 5, :44). Couper la sauvegarde des succès effacerait la seule trace de cet échec. Le lien claim_owner = queue_<execution> ne mène plus nulle part, mais l'exécution du Processor reste sauvegardée et contient l'identifiant de la source.maxConcurrency: 1 de la Queue est sans effet (#15ad).(a) SSRF — VRAI. Read Official Sites (coingecko_common/src/audit-read-official-sites.js) lit row.website (table coin) par this.helpers.httpRequest, qui suit les redirections, depuis le réseau Docker de l'API et du collecteur. Impact limité (réponse seulement parcourue par une regex), mais réel. Après les lots 1 et 2, la primitive épinglée s'appelle fetch_public_resource dans src/services/web/network.py (plan/lot2.md:181-189), ports 80/443 et redirections revérifiées (plan/lot1.md, étape 1). Alternative rejetée : N8N_SSRF_PROTECTION_ENABLED (toute l'instance, liste d'autorisation pour ~30 workflows, recréation du conteneur n8n, couverture des Code nodes non documentée).
(b) Politique de sortie — FAUX comme violation de #15av. AU/docs/superpowers/specs/2026-09-04-structured-output-mode-policy-design.md:49-58 garde explicitement json_object pour « CoinGecko Social Source Audit » ; coingecko_common/README.md:43 : « not a strict-schema mission ». Retiré du plan (annexe A). Le lot 3 nomme cette exception dans sa liste de contrôle 6b ; la règle #66 elle-même doit la nommer aussi pour être vraie le jour où elle est écrite (G5).
Builder Python + nodes/*.js ; patch de copies figées (source_processor, tweetapi_source) ; répertoires canoniques Node (canonical-directory.mjs + deploy_manifest.py) et coingecko_common ; operational_contracts. Principe déjà posé le 2026-09-02 : le dépôt ne fait foi qu'une fois qu'il reproduit le live ; pas de « generic workflow factory ».
Add Tweet Manually réclame 300 s (Source Inbox Claim Manual), le Processor peut durer 1 800 s : après 5 min, la Queue peut reprendre l'élément (source_inbox.py:1237) → planifié en 4b-bis (G9).x_context_execution_failed, non réessayable (build_x_context_failure.js, retryable: !executionFailed), donc blocage (source_retry_policy.py:89-90, :123) ; incident SI145759 du 10/11, consigné « à rendre relançable » (docs/archive/event-engine-pipeline-history.md:15) → planifié en 4g.Editorial X Metrics ; docs/EVENT_ENGINE_PIPELINE.md indique Add Tweet 5b3e887f au lieu de dd8478a7.Un workflow est canonique quand : (1) une copie de sa structure (nœuds hors code, connexions, réglages, positions, unique Workflow Notes) est versionnée ; (2) chaque Code node et chaque prompt long viennent d'un fichier versionné ; (3) un builder produit le JSON déployable et un test vérifie que la sortie est à jour, que le code compile, que la politique Telegram passe et qu'aucune référence $('…') ne vise un nœud absent ; (4) version et hash du live d'origine sont consignés et servent de garde ; (5) aucun script de bascule. Deux réalisations admises : répertoire canonique Node, ou builder Python de paquet. Ce lot l'applique aux workflows qu'il modifie et au Core (G5).
Dépôt CMC-automations, P-GIT (worktree wip/worktrees/lot4a-automations/). Dépendance : livraison C du lot 1 intégrée (core_models.py) ; sinon rebase sur elle.
4a.1 Copies fraîches. Juste avant : relire en lecture seule Processor, Queue, Enrich, Normalize, X REST, X REST Health, Add Tweet, Core. Arrêt si une version diffère du §2.0 sans explication.
4a.2 Structure (tout dans AU/workflows/source_processor/) :
snapshots/<slug>.json pour process-one-source, process-source-queue, enrich-x-context, normalize-x-payload, x-rest-context-request, x-rest-context-health, add-tweet-manually, core-decision-pipeline : champs éditables du live (y compris pinData: {}), sans enveloppe activeVersion. Chaque texte versionné y est une sentinelle :"@source <chemin>" : contenu du fichier, moins un saut de ligne final s'il existe (convention actuelle des fichiers) ;"@source-exact <chemin>" : contenu exact (fichiers déjà exacts, comme impact_scorer_system_prompt.txt lu tel quel par le lot 1, et nœuds se terminant par un saut de ligne : Build Core Input, Plan Telegram Cadence) ;ALIAS=<a>, FALLBACK_COUNT=<n> pour les gabarits ; "@core-model <clé>" pour les 15 modèles de V4 Config, lus dans core_models.CORE_V4_MODELS (lot 1).nodes/build_captured_normalize_payload.js, nodes/build_core_input.js, nodes/plan_telegram_cadence.js, nodes/source_complete_return.js (déplacé de la chaîne Python), nodes/source_filtered_return.js, nodes/source_block_return.js ;nodes/queue/processor_summary.js, nodes/queue/prepare_block_alert_work.js ; nodes/format_source_processor_block_alert.js prend le contenu live de la Queue ;nodes/enrich/{prepare_full_thread_fetch,thread_context_ready,prepare_nested_quote_fetch,return_enriched_tweet,x_space_context_ready,prepare_referenced_thread_fetch}.js et prepare_x_space_lookup.js (déplacé de tweetapi_source/nodes/) ;nodes/x_rest/{validate_request,build_attempt_state,degraded_response,classify_bearer_error,restore_credential_state,success_bearer,check_presentation,success_tweetapi,classify_tweetapi_error}.js (check_presentation.js = x_presentation_fallback.js déplacé ; deux derniers déplacés de tweetapi_source/nodes/) ;nodes/x_rest_health/{build_capability_requests,build_due_probes,normalize_probe_success,normalize_probe_error,throw_fatal_probe}.js ;nodes/add_tweet/{parse_add_event_message,prepare_manual_source_ingest,manual_source_summary}.js ;prompts/{prescreen_user_prompt_template,cascade_system_prompt,cascade_user_prompt_template,media_evidence_system_prompt,identity_system_prompt}.txt, générés depuis le live.canonical.py (nouveau) : SPECS (id, nom, copie, sortie, baseline_version, baseline_hash), build(key) -> dict (enveloppe {id, name, nodes, connections, settings, active: False, pinData: {}} exigée par deploy_guarded, deploy_workflow.py:179-196), write_all() (python -m workflows.source_processor.canonical --write), validate_workflow_graph (déplacée de deploy.py:49-101 et corrigée : plusieurs déclencheurs acceptés, dont manualTrigger, telegramTrigger, scheduleTrigger, executeWorkflowTrigger, accessibilité calculée depuis tous), diff_ignoring_positions(live, candidate) -> list[str].generated/workflow-<slug>.json : sorties versionnées.4a.3 Tests (tests/test_canonical.py) : test_generated_files_are_current ; test_generated_matches_recorded_live (editable_hash = baseline_hash, pinData normalisé à {} des deux côtés) ; test_every_code_node_and_long_prompt_has_a_source (aucun code en clair dans les copies, aucun fichier déclaré orphelin) ; test_code_nodes_compile_and_references_exist (social_scope_rollout.workflow_guard.validate_workflow + validate_workflow_graph) ; test_telegram_policy ; test_bearer_templates_render_each_live_branch ; test_html_escape_copies_stay_identical ; test_core_models_come_from_core_models_py. Tests adaptés au contenu Queue de format_source_processor_block_alert.js (lecture de $('Prepare Block Alert Work')) : tests/reliability.test.js:64, tests/native_consumers.test.js:226, tests/test_alert_renderers.py:1293. Tests déplacés : tweetapi_source/tests/nodes.test.mjs (cas classify/success tweetapi, prepare_x_space_lookup) vers source_processor/tests/x_rest_nodes.test.mjs et enrich_nodes.test.mjs.
4a.4 Outillage (AU/tooling/n8n/deploy_workflow.py).
N8nRestClient(cookie_file: Path | None = None) ; sans fichier, le client ouvre une seule session par processus (POST /rest/login est limité, memory/feedback_n8n.md:429) dans un CookieJar en mémoire, avec N8N_PRO_PASSWORD lu dans l'environnement (chargé par set -a; . ~/.local/state/coinmarketcal/n8n-pro.env; set +a) et l'e-mail non secret N8N_PRO_EMAIL ou la constante <e-mail de connexion n8n>, comme le gabarit de drain (procedures.md §2.1). DEFAULT_COOKIE_FILE est supprimé : les 6 appelants du §2.0 fonctionnent sans changement. deploy_manifest.py:12 : dossier d'artefacts par défaut sous wip/<lot>/ (non secret). Proposer à Anthony, avec « go », la suppression de wip/n8n_pro.cookies et wip/sol62-switch-20261118/pro.cookies.deploy_guarded(..., publish: bool = True) et deploy_guarded_batch(..., publish: bool = True) (utilisé par coingecko_common/deploy.py:12,156, donc par 4c) : avec publish=False, PATCH et relecture de chaque brouillon (activeVersionId inchangé), sans activate ; nouvelle fonction publish_reviewed_draft(client, *, workflow_id, active_version, draft_version, candidate) qui relit le brouillon, exige diff_ignoring_positions(draft, candidate) == [], active le brouillon et relit versionId == activeVersionId (appelée une fois par workflow pour un lot). coingecko_common/deploy.py reçoit --mode {render,draft,publish}.N8nRestClient.deactivate(workflow_id) (même forme que activate).tooling/n8n/tests/test_deploy_workflow.py : brouillon sans activation (simple et par lot) ; refus de publier un brouillon qui diffère du candidat ; rollback inchangé ; connexion en mémoire sans fichier (faux client) ; aucun chemin wip/ ni /home/hapi dans les valeurs par défaut.4a.5 Point d'entrée. Réécrire source_processor/deploy.py : python -m workflows.source_processor.deploy {render,draft,publish,drain} --workflow <slug> [--confirm-version <v>] [--artifact-root <d>] (connexion en mémoire). drain : désactive la Queue et le Blog Collector (--keep-blog pour garder ce dernier), attend running = 0 pour Processor, Normalize, Enrich et Core, de 09:56 jusqu'à 10:08 au plus (sinon abandon du redémarrage pour la journée, procedures.md P-API étape 3), lance --api-command (seulement docker compose up -d et l'attente de /health : le build et les contrôles de dépendances se font avant, hors drain), puis, dans un finally, réactive chaque workflow sur sa version d'origine et relit active, versionId == activeVersionId (procedures.md P-API étape 3).
4a.6 Suppressions.
*_layout.json ; leurs tests, sauf les tests déplacés au §2.5.build_workflows.py : toutes les bascules de Processor, Queue, Enrich et X REST devenus canoniques, et du Core (G5), dont les trois build_author_bio_* (Processor, Core, Enrich) avec leurs fixtures et le test rouge ; build_source_only_core_candidate, build_core_retry_date_candidate, build_core_chat_routing_candidate, build_cascade_prompt_candidate et leurs tests (le lot 1 abandonne alors son étape 10.3, relecture transversale constat 10). Méthode : grep -rn "<nom>" AU/ ; supprimer si tous les utilisateurs disparaissent. Garder build_embedding_maintenance (workflow non touché) et sa fixture tests/fixtures/processor-pre-simplification-reviewed.json, qu'il lit (nœud Read Missing Embeddings, absent du Processor live) ; déplacer test_embedding_maintenance_is_a_three_node_fail_loud_scheduled_workflow (test_build_workflows.py:1800) dans tests/test_embedding_maintenance.py avec sa constante FIXTURE (aujourd'hui partagée avec test_deploy_contract.py:30-48), avant de supprimer les autres tests de ces deux fichiers.tweetapi_source/ : build_x_rest_request, build_x_rest_health, build_processor, build_enrich, build_add_tweet_manually, leurs fixtures et tests ; dans deploy.py, retirer X REST, Health, Processor, Enrich, Add Tweet et X_STREAM_HEALTH ; il ne reste que la liste X.operational_contracts/contracts.json : retirer x_rest_context.canonical.py et deploy.py.4a.7 Vérification.
cd wip/worktrees/lot4a-automations
PY=wip/venvs/event-engine-v4-production/bin/python
PYTHONDONTWRITEBYTECODE=1 $PY -m workflows.source_processor.canonical --write && git status --short
PYTHONDONTWRITEBYTECODE=1 $PY -m pytest -q -p no:cacheprovider tooling/n8n/tests workflows # 0 échec attendu
find workflows tooling nodes -path '*/node_modules' -prune -o -type f \( -name '*.test.js' -o -name '*.test.mjs' \) -print0 | sort -z | xargs -0 node --test
for w in process-one-source process-source-queue enrich-x-context normalize-x-payload x-rest-context-request x-rest-context-health add-tweet-manually core-decision-pipeline; do
PYTHONDONTWRITEBYTECODE=1 $PY -m workflows.source_processor.deploy render --workflow $w --artifact-root wip/lot4a/render; done # après set -a; . ~/.local/state/coinmarketcal/n8n-pro.env; set +a
Critère : before_hash == candidate_hash pour les 8 workflows. Comportement : aucun changement live. Rollback : revert.
Peut partir dans la même série de commits que 4a.
nodes/enrich/x_post_query_fields.js : les 5 lignes de listes de champs, telles quelles. Les 3 planificateurs de lecture de posts contiennent à leur place le jeton __X_POST_QUERY_FIELDS__ ; le builder le remplace. Test : sortie identique à l'octet au live (golden de 4a).tests/enrich_planners.test.mjs (VM Node, $input.first() fourni, Date.now gelé) : fil complet par recherche récente et par timeline (frontière des 6 jours), fil de flux complet (aucune lecture), tweet_author_id manquant (erreur), citations imbriquées dédoublonnées, cibles secondaires et anciennes en context_limitations, requête de 450 et 451 unités UTF-16, Spaces dans le tweet et le fil, poignée non ASCII, millisecondes non nulles dans toISOString.4b.1 Mesure (lecture seule, avant toute décision). REST : GET /rest/executions?limit=50&filter={"workflowId":"<id>","startedAfter":"<ISO -24 h>"} puis pagination par cursor (memory/feedback_n8n.md:430), pour la Queue, le Processor, Normalize, Enrich, X REST, X Stream Health, Core, Editorial X Publisher, Failed Execs et sans filtre de workflow. Mesure exacte sur le SQLite en lecture seule (script copié sur le serveur, timeout 60, supprimé ensuite) :
import sqlite3
c = sqlite3.connect("file:/var/lib/docker/volumes/n8n_data/_data/database.sqlite?mode=ro", uri=True, timeout=5)
q = lambda s: c.execute(s).fetchall()
print(q("SELECT count(*), min(startedAt) FROM execution_entity WHERE deletedAt IS NULL"))
print(q("SELECT workflowId, status, count(*) FROM execution_entity WHERE startedAt >= datetime('now','-1 day') GROUP BY 1,2 ORDER BY 3 DESC LIMIT 40"))
Projection : saved_per_day par workflow ; P1 = 10000 / (total − succès Queue) et P2 = 10000 / (total − succès Queue − succès X Stream Health), en jours. Règle : si P1 ≥ 3, seule la Queue change ; si P1 < 3 ≤ P2, la Queue et X Stream Health ; si P2 < 3, proposer à Anthony d'ajouter les succès des sous-workflows de transport (Normalize, Enrich, X REST : leurs sorties restent dans l'exécution du Processor). Relever PRUNE_MAX_COUNT reste le dernier recours : il exige de recréer le conteneur n8n (drain de tous les workflows) et fait grossir le SQLite, dont la sauvegarde a déjà provoqué un OOM le 31/10 (docs/INFRASTRUCTURE.md:344), sans retirer le bruit.
4b.2 Politique (docs/N8N_WORKFLOW_DESIGN.md, section « Exécutions conservées et workflow d'erreur ») : poller fréquent sans travail utile la plupart du temps → saveDataSuccessExecution: none, saveDataErrorExecution: all, à condition que tout échec absorbé (continueRegularOutput, neverError) finisse en erreur ou soit enregistré ailleurs ; exécutions qui servent de preuve (Processor, Core, Audit, collecteurs) → défauts ; errorWorkflow sur tout workflow lancé par un déclencheur, sur un sous-workflow seulement si un appelant absorbe l'erreur sans alerter.
4b.3 Changements de la Queue (copie snapshots/process-source-queue.json) :
nodes/build_block_alert_receipt.js : ajouter error_text (message et description Telegram, 500 caractères au plus) à la sortie en cas d'échec. Le corps de Record Block Alert Delivery ne prend que des champs nommés (export live) : rien de nouveau n'est envoyé au backend.Record Block Alert Delivery (qui renvoie l'état block_alert, source_items.py:174-181) : IF Block Alert Delivery Failed? (={{ $json.state === 'failed' }}, IF 2.2 comme Failing Blogs? du Blog Collector) → vrai : Stop and Error Report Block Alert Delivery Failure, errorMessage = ={{ 'Block alert delivery failed permanently for source item ' + $('Build Block Alert Delivery Receipt').first().json.source_item_id + ' attempt ' + $('Build Block Alert Delivery Receipt').first().json.attempt_no + ' (' + $('Build Block Alert Delivery Receipt').first().json.error_code + '): ' + ($('Build Block Alert Delivery Receipt').first().json.error_text || 'no detail') }} ; faux : fin. L'exécution devient une erreur sauvegardée et Failed Execs alerte, une seule fois (un état failed n'est plus réclamé).settings.saveDataSuccessExecution = "none", settings.saveDataErrorExecution = "all" ; retrait de maxConcurrency si D-B ; une ligne dans Important de la note : « Successful runs are not kept; failed runs and failed alert deliveries are. »executionOrder: v1, n8n exécute les branches de haut en bas ; aujourd'hui Claim Next Source Item (y = −16) passe avant Claim Pending Block Alert (y = 224) (export live). Si Tidy Up inverse cet ordre, l'erreur de 2. peut sauter la réclamation de ce passage de 10 s : sans risque (rien n'est encore réclamé), à noter dans la revue.
Tests : build_block_alert_receipt.test.js (error_text borné, succès inchangé) ; test_queue_failed_block_alert_raises (graphe, expression, IF) ; test_queue_keeps_only_failed_executions.4b.4 X Stream Health (seulement si la règle 4b.1 l'exige) : x_stream_health/fixture.json saveDataSuccessExecution = "none", regénérer workflow.json, mettre à jour ses gardes (deploy.py, build-workflow.mjs) sur ba3d869b. L'état de transition est en données statiques (detect_health_transition.js:6), sauvegardées même sans exécution ; le détail d'un incident reste dans ses alertes et dans docker logs x-stream-collector. Perte nommée : le corps de /health des minutes saines avant l'alerte.
4b.5 Déploiement. P-N8N sur la Queue (puis, un autre jour, X Stream Health). Pas de drain : réglages et nœuds de fin de branche ne coupent rien. Fenêtre 09:15-11:00, aucune livraison de l'API ce jour-là. DoD : nœud Telegram Source Processor Block Alert (sendMessage, appendAttribution=false) et Send Source Block Document contrôlés à l'octet à l'étape 9.
4b.6 Vérification. Signal positif, pas l'absence d'exécutions : requête S1 de procedures.md (des attempts démarrent quand des éléments X sont éligibles), exécutions du Processor toujours sauvegardées, une alerte de blocage réelle livrée (ou, à défaut, vérification statique). À 48 h : volumes sauvegardés par jour (SQLite) et projection 10000 / saved_per_day ≥ 3 jours ; sinon étape suivante de 4b.1 sur décision.
Comportement changé (visible) : succès de la Queue absents de la liste n8n ; un échec définitif d'alerte de blocage déclenche désormais une alerte Failed Execs (trou silencieux comblé). Rollback : P-N8N rollback (version précédente).
Add Tweet Manually réclame 1 860 s (G9)snapshots/add-tweet-manually.json (4a) : Source Inbox Claim Manual jsonBody claim_seconds: 300 → 1860 (même valeur que la Queue et le Blog Collector : timeout du Processor 1 800 s + 60 s). Test : test_add_tweet_claim_matches_processor_timeout.4g.1 Lecture seule : message stocké de SI145759 et des blocages x_context_execution_failed des 30 derniers jours (SELECT id, left(last_error, 500), blocked_at FROM event_engine_source_item WHERE failure_reason = 'x_context_execution_failed' AND blocked_at >= now() - interval '30 days', requête de procedures.md §5) : ce sont les cas de test réels. Relire aussi, en lecture seule, les deux tables de textes de la version en production : ssh root@<serveur Event Engine> "docker exec root-n8n-1 sh -c 'for f in \$(find / -path \"*n8n-workflow/dist*/errors/abstract/node.error.js\" -o -path \"*n8n-workflow/dist*/errors/node-api.error.js\" 2>/dev/null); do echo \$f; sed -n 1,75p \$f; done'" ; en tirer tests/fixtures/n8n_common_errors_<version>.json.
4g.2 Code (nodes/build_x_context_failure.js, nœud Source Processor Retry Return) :
errorText(error) : chaîne → elle-même ; objet → error.message s'il est une chaîne, sinon error.description, sinon '' ; status = error.httpCode ?? error.statusCode ?? error.status, netCode = error.code."<status> - {…}", message HTTP <status> (ou <netCode>) + 300 premiers caractères ; jamais vide.Retry Return sont des Execute Workflow en continueErrorOutput (Call Twitter Normalize, Call Twitter Enrich Tweet, export live) : elles ne transmettent que {error: <texte>} (ExecuteWorkflow.node.js:494-499), sans code ni statut. Ce texte est celui que n8n substitue au message d'origine : table COMMON_ERRORS par code réseau (wf/.../errors/abstract/node.error.js:6-16, appliquée par setDescriptiveErrorMessage, :138-167, au code ou à tout message qui contient ce code) et table STATUS_CODE_MESSAGES par statut (node-api.error.js:55-69, setDefaultStatusCodeMessage, :203-240). La reconnaissance se fait donc sur ces textes exacts, figés dans une constante relue pour chaque version de n8n, jamais sur des fragments de prose ; pour la forme objet (après 4e), sur le champ stable error.code, puis sur le statut. Liste fermée :| Code | Texte n8n exact (n8n 2.42, à relire sur 2.47.3) |
|---|---|
| ECONNREFUSED | The service refused the connection - perhaps it is offline |
| ECONNRESET | The connection to the server was closed unexpectedly, perhaps it is offline. You can retry the request immediately or wait and retry later. |
| ENOTFOUND | The connection cannot be established, this usually occurs due to an incorrect host (domain) value |
| ETIMEDOUT | The connection timed out, consider setting the 'Retry on Fail' option in the node settings |
| ECONNABORTED | The connection was aborted, perhaps the server is offline |
| EHOSTUNREACH | The host is unreachable, perhaps the server is offline |
| EAI_AGAIN | The DNS server returned an error, perhaps the server is offline |
| 502 | Bad gateway - the service failed to handle your request |
| 503 | Service unavailable - try again later or consider setting this node to retry automatically (in the node settings) |
| 504 | Gateway timed out - perhaps try again later? |
Si executionFailed et (texte égal à l'un de ces textes, ou error.code ∈ les 7 codes, ou status ∈ {502, 503, 504}) → code: "x_context_api_unavailable", retryable: true. ENOTFOUND et EAI_AGAIN sont sûrs à réessayer ici : les hôtes sont fixes (event-engine-api), le nom disparaît du DNS Docker le temps de recréer le conteneur, et la famille est bornée à 30 échecs. Le statut 500 (The service was not able to process your request) et les 4XX restent x_context_execution_failed, non réessayables : ce sont des erreurs de l'application, pas des coupures. Tout le reste inchangé (chemins typés x_context_retry_required, x_rest_context_degraded_retry, x_numbered_thread_incomplete intacts). Une erreur d'accès X (bearer refusé) ne remonte pas sous cette forme : X REST la classe lui-même (Classify <a> Error) et lève x_rest_non_retryable_error:…, qui n'est dans aucune liste.
- Backend inchangé : la phase x_context a sa famille et sa limite (30 échecs depuis le dernier retraitement manuel, source_retry_policy.py:89-90).
- Tests (build_x_context_failure.test.js) : un cas par ligne du tableau, sous forme de texte (entrée Execute Workflow) et sous forme d'objet ({code} ou {status}, entrée HTTP après 4e) → x_context_api_unavailable, réessayable ; le message réel de SI145759 (4g.1) ; négatifs : texte du 500, texte 4XX, x_rest_non_retryable_error:cmcalbot:401:…, erreur de planification JS (« Referenced thread search query is too large (512 chars) »), texte qui contient seulement le mot « timed out » → x_context_execution_failed, non réessayable ; objet 422 avec un corps de plus de 4 000 caractères (message ≤ 1 000) ; objet sans message (seulement status: 500) ; chemins typés existants. Un test vérifie que la constante JS est égale, ligne à ligne, au tableau relu sur la version de n8n en production (fichier tests/fixtures/n8n_common_errors_<version>.json, produit en 4g.1). test_alert_renderers.py : le rendu de blocage affiche correctement le nouveau code quand la limite est atteinte.
- Comportement changé (visible) : une coupure de l'API pendant Normalize ou Enrich met la source en nouvel essai au lieu de la bloquer ; le drain de P-API reste obligatoire (il évite aussi des alertes).
- Déploiement : P-N8N sur le Processor (code seul, sans drain). Vérification : 50 sources traitées sans nouvelle erreur ; à la prochaine livraison de l'API, aucun x_context_execution_failed nouveau. Rollback : Processor précédent.
Dépendances : lot 1 livré (primitive), lot 2 livré (src/services/web/network.py, noms publics), G4 ; Context7 httpx.
Backend (CMC-event-engine).
src/services/social_audit_sites.py : X_LINK (portage de la regex JS, re.ASCII | re.IGNORECASE, $ → \Z), NOT_A_HANDLE, letters, looks_like_project, moved_handle(html, row) -> str | None ; async def read_official_site_moves(rows) -> dict[str, str] : même filtre que le JS (audit_lane == "liveness", x_silent is True, website non vide) ; plus de 50 lignes → ValueError (le réglage live est 20 : social_source_audit_max_accounts_per_run) ; lecture par web.network.fetch_public_resource(url, html_resource=True, deadline_seconds=20, timeout=httpx.Timeout(15, connect=4)) ; concurrence min(len(rows), 10) (20 lignes = 2 vagues ≈ 40 s) ; toute erreur d'un site = « pas de preuve » ; décodage UTF-8 errors="replace" ; clés str(row["id"]).src/api/social_audit.py : POST /social-audit/official-site-moves, {"rows": [...]} → {"official_site_moves": {...}} ; src/main.py : include_router.tests/test_social_audit_sites.py : cas de coingecko_common/test/audit-moved-accounts.test.mjs:53,70 ; adresse non publique, port non autorisé et redirection privée refusés (remplacement de src.services.web.network.public_addresses) ; type non HTML ; page trop grosse ; plus de 50 lignes ; route dans OpenAPI.moved_handle (wip/lot4c/parity/) sur les cas synthétiques et ~30 pages officielles réelles lues une fois par la primitive épinglée ; différences expliquées puis tranchées.n8n (coingecko_common, déjà canonique). Dans fixtures/audit.json, Read Official Sites devient un HTTP Request (même nom, même position) : POST http://event-engine-api:3282/social-audit/official-site-moves, jsonBody = ={{ JSON.stringify({ rows: $('Build X User Lookup Request').first().json.audit_rows || [] }) }}, options.timeout = 120000, executeOnce: true, retryOnFail: true, maxTries: 3, waitBetweenTries: 5000, sans onError. build-workflow.mjs:50 : retirer la ligne du fichier JS ; supprimer src/audit-read-official-sites.js et les deux cas portés. Note : « official site first, read by the Event Engine API with public-address pinning ».
Comportement changé (volontaire) : un site non public, sur un autre port, non HTML ou trop gros n'apporte plus de preuve ; une panne complète de l'API fait échouer le passage avant toute écriture. Modèle, prompt et écritures inchangés.
Déploiement : la route part dans la livraison 10 du plan global (API du lot 3, étapes 2 et 3, commit séparé, P-API avec drain du lot 3) : aucun redémarrage de l'API propre à 4c. Après la livraison 10, smoke en lecture seule (docker exec root-n8n-1 wget -qO- --post-data='{"rows":[…3 lignes publiques…]}' --header='Content-Type: application/json' http://event-engine-api:3282/social-audit/official-site-moves) ; puis, en livraison 11, P-N8N sur l'Audit via python -m workflows.coingecko_common.deploy --profile audit --mode draft, revue, puis --mode publish (garde BASELINES["audit"] relue), entre 06:00 et 22:00 hors ±30 min de 03:20 et 05:02. DoD : Send Lost Source Alert (Telegram) contrôlé à l'octet. Aucun passage manuel (il écrirait en base). Vérification au passage de 03:20 : sortie de Read Official Sites comparée au JS rejoué hors ligne sur les mêmes lignes. Rollback : Audit d'abord, puis l'API si besoin (P-API étape 6).
Préalables : 4g en production ; inventaire complet des appelants (§4) ; Context7 (HTTP 4.2 continueErrorOutput, splitOut) ; forme réelle de json.error vérifiée sur 2.47.3 par un workflow jetable (exécution manuelle d'un HTTP vers http://event-engine-api:3282/x-context/normalize avec {} → 422, puis désactivation, archivage et suppression, memory/feedback_n8n.md:188), après « go ».
Graphe (copie du Processor) : retirer Call Twitter Normalize ; ajouter Normalize X Payload (HTTP 4.2, paramètres recopiés à l'octet du sous-workflow, onError: continueErrorOutput) et Split Normalized Tweets (splitOut 1, fieldToSplitOut: items, sans onError) ; connexions Build Captured Normalize Payload → Normalize X Payload ; main[0] → Split Normalized Tweets → Has Tweets? ; main[1] → Source Processor Retry Return ; ids uuid5(NAMESPACE_URL, "coinmarketcal:n8n:process-one-source:<nom>").
Tests : aucun executeWorkflow vers 9pA9xizup7Zcq846 ; paramètres HTTP = ceux de snapshots/normalize-x-payload.json ; BLOG_X_ONLY_NODES (test_build_workflows.py:1936-2043, porté dans test_canonical.py) avec les deux nouveaux noms ; cas 4g sur la forme objet réelle relevée.
Comportement : un sous-workflow et une exécution de moins par post X ; classification et message bornés par 4g ; « réponse sans items » : zéro item et arrêt sans issue, comme aujourd'hui.
Déploiement : P-N8N sur le Processor, sans drain obligatoire. Normalize reste publié 7 jours. Vérification : 50 posts X traités, 0 appel à Normalize, répartition des issues comparable à la veille. Après 7 jours sans appel et « go » : désactivation puis archivage de Normalize, suppression de sa copie. Rollback : Processor précédent (Normalize encore actif) ; après archivage, réactiver Normalize d'abord.
Évaluation (#61). (a) Gabarit au builder : 8 messages différents, code live inchangé, abstraction nouvelle sans gain dans l'éditeur → rejeté. (b) Recommandé : nœud visible Validate Source Claim ; les 8 nœuds perdent leurs contrôles de cohérence du déclencheur (~60 lignes) et gardent leurs contrôles croisés.
Graphe : Source Item Already Blocked?.main[1] → Validate Source Claim → Review Work? ; le chemin « déjà bloqué » n'est pas touché. Code nodes/validate_source_claim.js :
// Every downstream node trusts this claim identity; the trigger item never changes during an execution.
const items = $input.all();
for (const { json } of items) {
const sourceItem = json.source_item || json;
const sourceItemId = Number(sourceItem.id);
if (!Number.isSafeInteger(sourceItemId) || sourceItemId <= 0) throw new Error('Source claim has no valid source item id');
if (!Number.isSafeInteger(json.attempt_no) || json.attempt_no <= 0) throw new Error('Source claim has no valid original attempt number');
if (!Number.isSafeInteger(sourceItem.attempt_count) || sourceItem.attempt_count !== json.attempt_no) throw new Error('Source claim attempt differs from the claimed source item');
}
return items;
Dans les 8 nœuds, retirer seulement les blocs if (...) throw de cohérence du déclencheur ; dans Build Completion, retirer validClaim() et les parties de cohérence des lignes 104-113 en gardant decisionSourceItemId !== sourceItemId ; dans Complete Return, garder Number(response.id) !== sourceItemId et responseAttemptCount !== attemptNo.
Pourquoi chaque chemin reçoit une identité validée : un seul déclencheur ; sa seule sortie mène à Source Item Already Blocked?, dont la sortie fausse mène à la garde ; les 8 nœuds sont en aval. Ils lisent le déclencheur par $('When Executed by Queue').first(), indépendant de l'appariement ; la garde rend $input.all() inchangé. Les accès .item sont faits par Format Cascade Alert, Build Effect Acknowledgement, Preserve Held Review Message, Format Cascade Failure Alert et Build Cascade Failure Acknowledgement, vers Build Pending Effect, Wait Telegram Cadence, Preserve Held Review Message et Format Cascade Failure Alert : tous en aval de la garde. Les données d'un Code node sont sérialisées vers le task runner : un nœud ne peut pas modifier le déclencheur vu par un autre.
Preuves : test de dominance (test_claim_gate_dominates_checked_nodes) ; test statique (aucun autre Code node ne refait le contrôle) ; rejeu par nœud sur des exécutions conservées du Processor (wip/lot4f/replay/, entrées reconstruites depuis runData, sorties identiques) et matrice de réclamations invalides ; lecture seule : aucune occurrence de ces messages dans l'historique.
Comportement : identique sur les entrées valides (le backend fixe attempt_count = attempt_no, source_inbox.py:1281-1312) ; sur une entrée invalide, échec plus tôt avec un message unique. Déploiement : P-N8N avec drain. Vérification : 100 posts et au moins un article de blog sans erreur nouvelle. Rollback : Processor précédent.
llm_client et json_schemaSeulement sur décision explicite contraire à la politique du 2026-09-04. Endpoint backend recevant les openai_body de Build Social Audit Requests, schémas stricts (ALLOW|BLOCK|REDIRECT ; not_project_account) ; calibration prompt-calibration (#15m), bundle wip/lot4-annexeA/calibration/ (manifest.json, cases.json, runs.jsonl, summary.json, validé par CMC-event-engine/scripts/validate_eval_bundle.py) sur des cas réels (ALLOW officiel, BLOCK imposteur, REDIRECT explicite, preuves mêlées, auto-description vraie et fausse), 3 répétitions ; essais sur le quota Claude, puis une validation payante unique z-ai/glm-5.3-flash high annoncée avec son coût ; critères : 0 sortie invalide, accord au moins égal à la ligne de base, aucun BLOCK/REDIRECT faux nouveau ; rollback : Audit précédent.
Seulement si un consommateur backend réel des planificateurs apparaît. Conditions : routes /x-context/plan/* ; nœuds HTTP de mêmes noms avec executeOnce: true, maxTries: 5, waitBetweenTries: 5000, après mesure de l'indisponibilité réelle au redémarrage ; 4g en production ; portage avec js_string (et non as_string, primitives.py:12), longueur UTF-16, re.ASCII, liste des erreurs implicites du JS et de leur code HTTP, test de contrat prouvant que les dates sont ISO avec Z (merge_full_thread.py:248-249, x_stream/tweetapi.py:418) ; parité octet pour octet, ordre des clés compris (comparaison sans sort_keys en plus de la comparaison canonique), sur les fixtures backend, les exécutions conservées d'Enrich (limit=50, cursor) et, pour le seul premier planificateur, les posts récents sans lecture X (BEGIN READ ONLY; … ROLLBACK;).
À relancer au début de chaque sous-lot.
GET /rest/workflows (actifs et archivés) puis recherche de 9pA9xizup7Zcq846 ; exports : Process One Source seul. Dépôt : fixtures source_processor/tests/fixtures/*, tweetapi_source/fixtures/processor.json, test_build_workflows.py:1936-2043 ; docs docs/EVENT_ENGINE_PIPELINE.md:64, docs/WORKFLOWS.md:31,213,291,369 ; memory/feedback_n8n.md:86.onError, tous alertent).format_source_processor_block_alert.js : reliability.test.js:64, native_consumers.test.js:226, test_alert_renderers.py:1293, test_build_workflows.py:2124, builders historiques build_workflows.py:458,611,2062,2226,2518 (supprimés en 4a.6).grep -rn -E "deploy_(alerts|queue_load_hardening|retry_policy|screenshot_hardening|stale_claim_guard|telegram_readability)|autonomy_delivery|telegram_effect_failure|source_processor\.deploy" AU/ docs memory.N8nRestClient() sans cookie : §2.0 (réparés par la valeur par défaut).core_models.py (lu par 4a) ; étape 10.3 abandonnée. Lot 2 : src.services.web.network (fetch_public_resource, public_addresses) utilisé par 4c ; ajouter social_audit_sites.py à son inventaire. Lot 3 : modifie le Core par canonical.py (R-STD), déployé par python -m workflows.source_processor.deploy draft --workflow core-decision-pipeline, puis publish ; nomme l'exception json_object de l'Audit en 6b et dans #66.tests/test_x_context_api.py inchangé (aucune route /x-context ajoutée) ; src/main.py (include_router).x-stream-collector : aucun import nouveau, aucun redéploiement.plan/procedures.md)Numéros = livraisons de plan/00-plan-global.md §3 (seule séquence valable).
| Livraison | Sous-lot | Composant | Procédure | Prérequis | Fenêtre | Rollback |
|---|---|---|---|---|---|---|
| 4 | 4a + 4d | dépôt seul | P-GIT | livraison 2 (lot 1 C) intégrée ; « go » pour supprimer les deux cookies de wip/ |
— | revert |
| 5 | 4g | n8n Process One Source (code) | P-N8N | 4 ; lectures 4g.1 ; pas le même jour que la livraison 3 (collecteur) | 09:15-11:00 | Processor précédent |
| 6 | 4b | n8n Queue | P-N8N | 4 ; mesure 4b.1 ; aucune livraison API ce jour | 09:15-11:00 ; 48 h d'observation | version précédente |
| 6b | 4b.4 | n8n X Stream Health, un autre jour, seulement si 4b.1 l'exige | P-N8N | 6 ; pas le même jour que la livraison 3 | 09:15-11:00 | version précédente |
| 7 | 4b-bis | n8n Add Tweet Manually | P-N8N | 4 ; le jour après 6 | 09:15-11:00 | version précédente |
| 10 | 4c backend | la route /social-audit/official-site-moves part dans la livraison API du lot 3, étapes 2 et 3 (commit séparé, encore inutilisée) : pas de redémarrage propre à 4c |
P-API du lot 3 (drain) | lots 1 et 2 livrés (livraisons 1 et 8) ; parité 4c | redémarrage 10:06-10:08 | git revert du commit 4c, ou image d'avant la livraison 10 tant qu'aucune livraison API ne l'a suivie |
| 11 | 4c n8n | Audit Social Sources | P-N8N (brouillon puis publication) | 10 + smoke en lecture seule | 06:00-22:00 hors ±30 min de 03:20 et 05:02 | Audit précédent, puis l'API seulement après lui |
| 12 | 4e | n8n Process One Source | P-N8N | 5 stable depuis un jour ; vérification 2.47.3 | 09:15-11:00 | Processor précédent (Normalize reste actif) |
| 13 | 4e + 7 j | n8n Normalize (désactivation puis archivage) | POST /deactivate puis archivage (#46, memory/feedback_n8n.md:188) |
12 + 7 jours sans appel ; « go » | en journée | réactiver Normalize |
| 14 | 4f | n8n Process One Source | P-N8N avec drain | 12 stable | 09:15-11:00 | Processor précédent |
Chaque ligne : « go commit », « go push », « go déploiement » séparés (G3) ; au plus une intervention par jour sur la voie X. Critère d'arrêt général : blocage x_context nouveau, erreur Failed Execs nouvelle attribuable au sous-lot, différence de parité ou version live inattendue → rollback du sous-lot, aucun sous-lot suivant.
| Risque | Parade |
|---|---|
| Une autre session modifie un workflow pendant 4a | Copies relues juste avant ; garde version + hash ; aucun effet live. |
| L'éditeur normalise des paramètres (déjà vu le 10/11 et le 18/11) | P-N8N étape 9 ; publication unique d'un brouillon revu. |
| Tidy Up oscille entre deux dispositions (n8n 2.47) | P-N8N étape 7 : garder la disposition stable, sinon arrêter. |
| 4b efface une trace utile | Nœud d'erreur pour l'échec définitif d'alerte ; mesure et règle 4b.1 ; signal positif S1. |
| 4b rend une Queue arrêtée invisible | S1 (attempts récents quand des éléments sont éligibles) après chaque déploiement et chaque drain ; réactivation dans un finally. |
| 4g réessaie une erreur qui n'est pas une coupure | Liste fermée de codes et de textes, cas réels de 4g.1 ; limite de famille de 30 échecs. |
| 4c : noms de la primitive changés par le lot 2 | 4c écrit après le lot 2, sur web.network. |
| 4c : retour à une image API sans la route | Ordre Audit puis API ; validité de l'image (P-API étape 6). |
| 4e : forme de l'erreur HTTP sur 2.47.3 | Vérification jetable avant ; 4g borne le message quelle que soit la forme. |
| 4f : un chemin contourne la garde | Test de dominance, rejeu, drain. |
| Navigateurs concurrents (#54) | Une seule session navigateur ; contrôles par l'API en plus des captures. |
| # | Décision | Recommandation et raison |
|---|---|---|
| D-A | Règle R-STD, ajoutée en une phrase à #61 (CLAUDE.md et AGENTS.md) | Oui : pas de migration en masse, fin des scripts de bascule ; le Core suit la règle dès 4a. |
| D-B | 4b : Queue sans succès enregistrés, avec la nouvelle alerte d'échec d'alerte ; X Stream Health seulement si la mesure l'exige ; retrait de maxConcurrency=1 |
Oui : la Queue est de loin le premier émetteur (8 640 exécutions par jour pour un plafond de 10 000) ; l'alerte ferme un trou silencieux ; le réglage sans effet induit en erreur. |
| D-C | errorWorkflow : rien à ajouter ; retirer celui de X REST, qui double déjà les alertes (prouvé par le code n8n 2.42) |
Ne rien ajouter ; retrait de X REST au backlog, à faire au prochain déploiement de X REST. |
| D-D | 4c oui ; annexe A non | Oui / non : la faille est réelle ; la politique du 2026-09-04 garde json_object pour l'audit. |
| D-E | 4d dans sa forme minimale (fichiers testés + liste de champs unique, sans changement live) ; annexe B non | Oui à la forme minimale : elle traite les deux causes sans ajouter 4 appels d'API par post. |
| D-F | 4e : intégrer Normalize après 4g, puis archiver le sous-workflow après 7 jours | Oui, priorité basse : gain réel mais modeste, car 4a donne déjà une source à Normalize. |
| D-G | 4f | Oui, en dernier, facultatif. |
| D-K | 4g : coupure de transport de l'API pendant le contexte X → nouvel essai | Oui : c'est la cause de SI145759 ; changement de classification local, sans changement backend. |
L'ancien D-H (regroupement de la traduction des blogs du lot 3 avec 4e) est retiré (G8). 4b-bis n'est plus une décision : il est planifié (G9) et demande seulement le « go ». Le drain à chaque livraison de l'API est une règle commune (procedures.md).
docs/EVENT_ENGINE_PIPELINE.md : lignes de versions (Processor, Queue, Normalize, Enrich, Add Tweet corrigé en dd8478a7, Audit) ; une entrée datée par sous-lot (versions, rollback, preuves) ; avertissement d'ordre de rollback pour 4c.docs/WORKFLOWS.md (lignes 31, 213, 291 ; section Failed Execs ; réglages de conservation) ; docs/INFRASTRUCTURE.md:494 (rétention mesurée après 4b).docs/N8N_WORKFLOW_DESIGN.md : section « Exécutions conservées et workflow d'erreur » ; règle R-STD dans « Méthode de changement » ; brouillon revu publié une seule fois.CLAUDE.md et AGENTS.md (miroir) : une phrase dans #61 si D-A ; #15l : la normalisation devient l'appel Normalize X Payload du Processor (après 4e) ; #15ab : la coupure de transport du contexte X est réessayable (après 4g).memory/project_event_engine_pipeline.md : état de la voie X ; ligne de backlog (relecture transversale, constat 13) : LogoFetcher (lot 1), champ mort openrouter_provider_route (lot 3), errorWorkflow de X REST en double, note de X REST sans Editorial X Metrics, avec une recommandation chacun.memory/feedback_n8n.md : ligne 435 (rétention), sous-exécutions et workflow d'erreur (fait vérifié), forme d'erreur HTTP intégrée vs sous-workflow, ordre des branches v1 par position, ligne 86 complétée.CMC-automations/README.md, workflows/source_processor/README.md, workflows/coingecko_common/README.md.verify-agent-coherence (#62).| Sous-lot | Effort | Dépend de |
|---|---|---|
| 4a | 2,5 sessions (Core et Add Tweet compris) | livraison C du lot 1 |
| 4d | 0,5 session | 4a |
| 4b | 0,75 session + 48 h | 4a |
| 4b-bis | 0,25 session | 4a |
| 4g | 0,5 session | 4a (livraison 5, avant 4b) |
| 4c | 1 session | 4a, lots 1 et 2 (G4) ; route dans la livraison 10 du lot 3 |
| 4e | 1 session | 4g |
| 4f | 1 session | 4e |
| Total | ≈ 7,5 sessions | annexes non comptées |
Séquence : celle de plan/00-plan-global.md §3 (livraisons 4, 5, 6, 6b, 7, 10, 11, 12, 13, 14 pour ce lot ; tableau du §5). 4g (livraison 5) passe avant 4b (livraison 6) et avant la livraison API du lot 2 (8) ; la route de 4c part avec la livraison API du lot 3 (10) ; il n'y a plus de livraison API propre au lot 4.
Relecture du lot 4 (review/lot4-review.md).
| # | Constat | Vérification | Suite |
|---|---|---|---|
| 1 | IMPORTANT : en 4e, le message stocké change et peut dépasser 4 000 caractères | Confirmé : HttpRequestV3.node.js:638-650, legacy-request.js:81, ExecuteWorkflow.node.js:494-499, schemas.py:397 ; le 422 FastAPI recopie toute l'entrée (TestClient local ; mon essai sur la plus petite fixture donne 404 caractères, la taille dépend du payload, le mécanisme est confirmé) |
Nouveau 4g (message borné) avant 4e ; « même message » retiré (§2.4) |
| 2 | IMPORTANT : 4b perd la trace des échecs d'alerte Telegram | Confirmé : continueRegularOutput, build_block_alert_receipt.js, source_inbox.py:348-387 |
Nœud IF + Stop and Error ajouté (4b.3) ; pertes nommées ; nuance sur claim_owner (l'exécution du Processor reste sauvegardée) |
| 3 | IMPORTANT : Queue arrêtée invisible, drain sans reprise garantie | Confirmé (aucun contrôle d'âge de file) | Signal S1 ; drain avec finally (4a.5, procedures.md P-API) |
| 4 | IMPORTANT : la solution minimale de 4d manque | Confirmé : listes de champs identiques à l'octet, doctrine satisfaite par des fichiers testés | 4d remplacé par la forme minimale ; backend en annexe B |
| 5 | IMPORTANT : 4d multiplie les blocages lors des redémarrages | Confirmé | Sans objet avec la forme minimale ; conditions reprises en annexe B ; cause traitée par 4g |
| 6 | splitOut ne lève pas d'erreur |
Confirmé (SplitOut.node.js:150-157) |
onError retiré, phrases corrigées |
| 7 | P-N8N publie avant la revue | Confirmé (deploy_workflow.py:229-262) |
Mode brouillon + publish_reviewed_draft (4a.4) ; fermeture de l'onglet et Context7 dans P-N8N |
| 8 | validate_workflow_graph échoue sur Health |
Confirmé, et aussi sur l'Audit | Plusieurs déclencheurs acceptés (4a.2) |
| 9 | .strip() empêche l'octet exact |
Confirmé (2 nœuds) | Sentinelles @source / @source-exact |
| 10 | Tests oubliés (format_source_processor_block_alert.js, BLOG_X_ONLY_NODES) |
Confirmé | Ajoutés à 4a.3, 4e et §4 |
| 11 | Contradiction sur le test rouge (fonction Core) | Confirmé | Les trois build_author_bio_* supprimés ; Core canonique (G5) |
| 12 | Cookie par défaut, double déploiement de X Stream Health | Confirmé (6 appelants sans cookie) | Valeur par défaut changée ; X_STREAM_HEALTH retiré de tweetapi_source/deploy.py |
| 13 | Requêtes inexactes (limit, corpus, SET TRANSACTION) |
Confirmé (memory/feedback_n8n.md:430) |
limit=50 + cursor ; BEGIN READ ONLY ; corpus limité (annexe B) |
| 14 | Règles de portage JS→Python inexactes | Confirmé sur le principe | Sans objet (annexe B), règles corrigées gardées en annexe B ; re.ASCII appliqué à 4c |
| 15 | 4c : délai fixe de 5 s, executeOnce, budget, fenêtre |
Confirmé (network.py:123-126) |
fetch_public_resource(..., deadline_seconds=20), executeOnce, plafond de 50 lignes, fenêtres séparées API/n8n |
| 16 | Drain partiel, alertes attendues | Confirmé, avec une nuance : les articles de blog ne passent pas par Normalize/Enrich (Blog Article? → Build Core Input) |
Désactivation du Blog Collector (par défaut depuis la passe finale, F-15) ; alertes annoncées ; redémarrage 10:06-10:08 |
| 17 | Critère 48 h irréaliste ; projection et PRUNE_MAX_COUNT absents |
Confirmé | Critère par taux ; règle P1/P2 ; PRUNE_MAX_COUNT dernier recours avec raison |
| 18 | Prémisses inexactes (hash d'Enrich, test de X Space, accès .item) |
Confirmé | Trois phrases corrigées |
| 19 | Workflow d'erreur des sous-exécutions tranché par le code | Confirmé (execution-lifecycle-hooks.js:420-447,548-557) |
§2.6 et D-C réécrits |
| 20 | Docs et contrôle Telegram de l'Audit oubliés | Confirmé (docs/INFRASTRUCTURE.md:494) |
Ajoutés (§8, 4c) |
Relecture transversale (review/cross-lot-review.md), points du lot 4.
canonical.py.prescreen_user_prompt_template ; nuance : son texte coïncide à l'octet avec expert_user_prompt_template.txt, mais il reçoit son propre fichier.cmc-event-engine-api:rollback-pre-<lot>-<AAAAMMJJ>.src.services.web.network (G4).Arbitrages appliqués : G2 (procedures.md rédigé, quatre noms stables), G3 (portes Git dans chaque sous-lot), G4 (4c après le lot 2), G5 (Core canonique en 4a), G8 (ancien D-H retiré), G9 (4b-bis). Aucun constat rejeté en entier ; deux nuancés (relecture du lot 4, constats 2 b et 16).
Passe finale (review/final-pass.md §4), points de ce lot et de procedures.md.
| # | Constat | Vérification | Suite |
|---|---|---|---|
| F-1 | 4g ne reconnaît pas toutes les coupures | Confirmé : les deux entrées de Retry Return sont des Execute Workflow (texte seul) ; textes relus dans wf/.../abstract/node.error.js:6-16 (COMMON_ERRORS, appliqué par setDescriptiveErrorMessage :138-167) et node-api.error.js:55-69,203-240 |
4g.2 : liste fermée des 7 textes réseau et des 3 textes 502/503/504, égalité exacte (plus de fragments de prose), error.code puis statut pour la forme objet ; un test par code et par forme, négatifs (500, 4XX, X REST, « timed out » isolé) ; table relue sur 2.47.3 en 4g.1 et figée dans une fixture testée |
| F-2 | Cookie de session par défaut dans wip/ |
Confirmé : wip/n8n_pro.cookies (11/11) et wip/sol62-switch-20261118/pro.cookies (18/11) existent |
4a.4 : connexion en mémoire, plus de DEFAULT_COOKIE_FILE ; suppression des deux fichiers proposée à Anthony ; --cookie-file retiré de 4a.5 et 4a.7. Le lot 1 (--cookie-file obligatoire de ses outils) et le lot 3 (en-tête) s'alignent sur la connexion en mémoire |
| F-6 | E-mail absent de n8n-pro.env |
Correctif du coordinateur gardé tel quel (procedures.md §2.1) ; même règle reprise par le client en mémoire (4a.4) | — |
| F-7 | Le drain enveloppait le build | Confirmé | P-API : étape 2 = build et contrôles hors drain ; étape 3 = drain autour de up -d et de l'attente de /health seulement ; 4a.5 aligné |
| F-8 | Critère d'arrêt aveugle à la couche apt | Confirmé (EE/Dockerfile : apt-get install ffmpeg puis pip install puis playwright install avant COPY src/) |
P-API étape 2 et P-COLLECTEUR étape 3 : toutes les étapes avant COPY src/ CACHED (build --progress=plain), sinon comparaison pip freeze, ffmpeg -version, playwright --version et /ms-playwright |
| F-9 | Liste de chemins de P-COLLECTEUR plus courte que celle du lot 1 | Confirmé (plan/lot1.md §5.3) |
Liste reprise à l'identique (src/__init__.py, src/models/__init__.py, docker ajoutés ; src/services/web/* après le lot 2) |
| F-11 | deploy_guarded_batch sans mode brouillon |
Confirmé (coingecko_common/deploy.py:12,156) |
4a.4 : publish=False aussi pour le lot ; --mode {render,draft,publish} dans coingecko_common/deploy.py ; 4c déployé en brouillon puis publié ; P-N8N étape 3 aligné |
| F-12 | Fixture de build_embedding_maintenance à garder |
Confirmé : test_build_workflows.py:1800 et test_deploy_contract.py:30-48 lisent processor-pre-simplification-reviewed.json |
4a.6 : fixture gardée, test déplacé dans tests/test_embedding_maintenance.py |
| F-13 | Renvois périmés | Pour ce lot : #66 et 6b du lot 3 (§2.7 b et §4 corrigés), commande Core du lot 3 (deploy draft --workflow core-decision-pipeline, puis publish, §4), cookie en 4a.4 (pas 4a.5) ; les renvois dans lot1.md (4a.5, backlog x_context_execution_failed devenu 4g) et lot3.md (« 4g non recommandé », --cookie-file) sont à corriger par leurs auteurs |
§2.7 b, §4 |
| F-14 | Fenêtres écrites différemment | Confirmé ; horaires de tous les appelants de l'API relevés dans les exports (Editorial X Publisher : 14:00, 15:00, 16:00, 18:00, jeudi 20:00 et */5, fuseau Europe/Lisbon, les 7 déclencheurs peuvent atteindre Render Editorial PNG) |
procedures.md §0 : tableau canonique unique ; redémarrage de l'API 10:06-10:08, n8n voie X 09:15-11:00, Audit 06:00-22:00 hors ±30 min de 03:20 et 05:02, collecteur 21:00-22:00 ; §5 de ce lot aligné |
| F-15 | Le drain oublie deux appelants du Processor | Confirmé (Blog Collector, Add Tweet Manually) | Blog Collector désactivé par défaut pendant le drain (--keep-blog pour l'exception) ; Add Tweet laissé actif avec justification (désactiver désinscrit son webhook Telegram ; usage manuel rare) et consigne à Anthony de ne pas ajouter de tweet entre 10:00 et 10:15 ; risque supprimé par 4g |
Contrôle de clôture (review/final-pass.md §5.2).
| # | Constat | Vérification | Suite |
|---|---|---|---|
| C-1 | Heure du redémarrage non tenue si la file tarde à se vider | Confirmé : le gabarit attendait jusqu'à 1 900 s puis redémarrait, sans heure limite | procedures.md P-API étape 3 : drain lancé à 09:56:00, redémarrage pas avant 10:06:00, attente maximale jusqu'à 10:08:00 ; sinon abandon pour la journée (réactivation par le finally, image et checkout remis à l'état d'avant, journal), jamais de redémarrage déplacé vers un autre horaire de la journée ; gabarit --not-before / --restart-by ; consigne Add Tweet 09:55-10:15 ; 4a.5 aligné |
| C-5 | Ancienne séquence (D8, D9, D12-D14 ; 4b avant 4g ; API propre à 4c) | Confirmé contre plan/00-plan-global.md §3 (livraisons 4, 5, 6, 6b, 7, 10, 11, 12, 13, 14) |
§5 refait avec les numéros du plan global ; 4g = livraison 5 avant 4b = 6 ; route de 4c dans la livraison API 10 du lot 3, sans redémarrage propre ; 4c n8n = 11 ; §0, §9, 4b-bis et 4c alignés ; plus aucun identifiant D… dans ce fichier |