Lot 2 — Kit commun des voies référentielles (conférences, unlocks) et outils web partagés

Plan rédigé le 2026-11-18, en lecture seule, sur le code exact de production :

Toutes les références chemin:ligne renvoient à ces copies. Le lot 1 crée src/services/collectors/ (run_lock.py, failure_report.py) et corrige src/services/source_renderer/network.py sur place. Le code du lot 2 commence après la fusion de la livraison A du lot 1 ; les étapes E5 et E6 et le déploiement attendent sa livraison B (collecteur X) et une nuit propre : c'est la livraison 8 du calendrier plan/00-plan-global.md §3, après la livraison 3 (lot 1 B) ; arbitrage G4. Les numéros de ligne des fichiers touchés par le lot 1 sont à relire à l'étape 0.

Corrigé le 18/11 après deux relectures (review/lot2-review.md, review/cross-lot-review.md) et les arbitrages G1 à G9 (review/01-arbitrages.md). Les procédures génériques (git, déploiement de l'API, n8n) sont celles de plan/procedures.md (P-GIT, P-API, P-N8N, P-COLLECTEUR, arbitrage G2) ; ce plan ne garde que les vérifications propres au lot 2. Le détail des corrections est en section 10.

Vérifications faites pendant la rédaction (locales, sans réseau, sans écriture dans les dépôts) :


1. Objectif et non-objectifs

Objectif. Une future source référentielle (par exemple les listings) doit pouvoir réutiliser un seul kit au lieu de recopier celui des conférences. Concrètement :

  1. ranger les outils web neutres, aujourd'hui dans conferences/, dans un paquet neutre src/services/web/ ;
  2. n'avoir qu'une boîte d'envoi des effets, un compteur d'usage des modèles, une requête de recherche web, un moteur de fiche de preuve hors ligne ;
  3. côté n8n, n'avoir qu'un kit de construction des deux workflows, sans changer un octet des JSON générés (donc sans déploiement n8n).

C'est une refonte à comportement constant. Chaque écart est listé dans ce plan et soumis à Anthony (section 7).

Non-objectifs.


2. Prémisses vérifiées

2.1 Constats de l'audit couverts par ce lot

# Constat de l'audit Verdict Preuve
1a conferences/fetch.py (ChromiumBrowser, CollectorHttp, HostThrottle, Browser Run) est un outil partagé de fait VRAI, NUANCÉ Importé par les blogs (EE/src/services/blogs/collector.py:55) et les unlocks (EE/src/services/unlocks/updates.py:22, EE/src/services/unlocks/investigate.py:28). Nuance : fetch.py importe la capture de preuve propre aux conférences (EE/src/services/conferences/fetch.py:25 : DEVICE_SCALE_FACTOR, PROOF_VIEWPORT, ProofShots, shoot), utilisée par la seule méthode ChromiumBrowser.capture (fetch.py:197-201), elle-même appelée seulement par conferences/proof.py:455. Le fichier ne peut donc pas être déplacé tel quel : capture doit rester côté conférences.
1b conferences/text.py (parse_html, squash, norm…) est partagé VRAI, NUANCÉ parse_html est utilisé par les blogs (blogs/collector.py:57, blogs/feeds.py:13) et les unlocks (unlocks/updates.py:24, unlocks/investigate.py:30) ; squash par les unlocks (unlocks/dossier.py:15, unlocks/proof.py:21). Nuance : ORG_SUFFIXES et core (text.py:11-14, text.py:28-30) servent seulement aux liens intervenant → coin (conferences/links.py:22). Ils restent dans links.py.
1c models.py contient des éléments partagés (Strict, ConferenceCollectorError) VRAI, NUANCÉ ConferenceCollectorError (conferences/models.py:16-22) est levé ou attrapé par les blogs (blogs/collector.py:56,287,995) et les unlocks (unlocks/updates.py:23,180,184, unlocks/investigate.py:29,78). Strict (models.py:25-26) est copié à l'identique de StrictModel (EE/src/api/v4_schemas.py:178-179, même ConfigDict(extra="forbid")). Les unlocks utilisent déjà StrictModel ailleurs (unlocks/updates.py:19, unlocks/investigate.py:27). Seul unlocks/dossier.py:14 importe Strict depuis les conférences. Vérifié : le schéma JSON d'un modèle ne dépend pas de sa classe de base (test en mémoire identique).
1d Correspondance HTTP de l'erreur dans src/main.py VRAI EE/src/main.py:116-119 : 503 si retryable, 422 sinon, corps {"status":"FAILED","failure":{"code","phase":"conference_collector","retryable","message"}}. La phase vaut conference_collector pour toute erreur de cette classe, y compris celle de la course des blogs (blogs/collector.py:995-999).
1e Le nom de classe apparaît-il dans des données stockées, alertes ou code n8n ? NUANCÉ Code n8n : jamais (recherche dans AU/ et live/ : aucune occurrence). Données stockées : les codes (exc.code) sont stockés, pas le nom de classe (conference_runner.py:603, unlock_runner.py:621, unlocks/discovery.py:316). Mais le nom de classe entre dans trois textes : (1) last_error d'une chaîne de blog, stocké dans event_engine_source_cursor.metadata_json (blogs/collector.py:626,687,766) et recopié dans l'alerte Failed Execs « Report Failing Blogs » (blogs/collector.py:832 → live/mYAuzz1BuvjiJtEF.json, nœud Report Failing Blogs : f.error) ; (2) le résultat d'outil FAILED: <Type>: … lu par le modèle de l'enquêteur unlock (unlocks/investigate.py:433), donc une entrée de modèle au sens de #15m ; (3) les journaux (blogs/collector.py:331,339,754 et les traces). Voir décision B.
1f source_renderer/network.py peut aller dans web/ VRAI (recommandé) 10 importeurs dans 5 zones : rendu X (source_renderer/blog_card.py:29, capture.py:14, open_graph.py:87 en import local, smart_tags.py:12, x_articles.py:14), browser_egress.py:23, collecteurs (conferences/fetch.py:26, blogs/collector.py:60, unlocks/investigate.py:37), v4_media_evidence.py:37. C'est l'outil de téléchargement épinglé de tout le moteur ; son nom actuel trompe.
2 La boîte d'envoi des effets est copiée dans les deux runners VRAI, avec 3 écarts précis Conférences : conference_runner.py:963-966 (liste), 1026-1043 (accusé de réception), 1046-1050 ; ajout : 555-559. Unlocks : unlock_runner.py:624-627, 736-752, 755-759 ; ajout : 382-386. Écarts : (a) les conférences vérifient que la référence est un UUID (conference_runner.py:1031), pas les unlocks (unlock_runner.py:741) ; (b) une édition disparue lève EDITION_NOT_FOUND, 422 (conference_runner.py:480-481), alors qu'une fiche disparue est ignorée (unlock_runner.py:747-749) ; (c) l'ordre de liste (edition_key ou fiche_key) et le texte du message d'erreur de base diffèrent. Le corps HTTP d'une erreur de base reste générique (main.py:59-62 : {"detail":"Database unavailable"}).
2b Filtrer en SQL les lignes à effets en attente NUANCÉ Un filtre JSON n'est pas portable : la colonne est JSON en SQLite et JSONB en PostgreSQL (EE/src/models/source_inbox.py:13-14). Il n'est pas prouvable sans risque. À la place, on lit la seule colonne pending_effects triée par clé : la sortie est identique par construction et la liste ne charge plus computed, applied_state, roster ni facts de chaque ligne à chaque accusé de réception (aujourd'hui select(UnlockFiche) complet après chaque effet, unlock_runner.py:626).
3 render_fact_card et render_proof sont identiques, au sélecteur près VRAI conferences/proof_card.py:87-109 contre unlocks/proof.py:252-274 : seule différence, #conference-proof ou #unlock-proof. _jakarta() est identique (proof_card.py:32-35, unlocks/proof.py:68-71). CARD_WIDTH = 600 apparaît trois fois (proof_card.py:25, unlocks/proof.py:29, source_renderer/blog_templates.py:21).
4a Le builder unlock importe les fonctions privées du builder conférences VRAI AU/workflows/unlock_collector/build_workflow.py:16 (import build_workflow as conference), puis conference._api/_if/_switch/_processor_node/_telegram/_edge (:124,186-229). Les tests unlock importent PROCESSOR_FIXTURE du builder conférences (AU/workflows/unlock_collector/tests/test_build_unlock_collector.py:8).
4b Les nœuds JS sont des quasi-copies VRAI pour 2, NUANCÉ pour 2 select_next_effect.js et build_effect_ack.js ne diffèrent que par le préfixe (conference/unlock), le libellé (Conference/Unlock), le plafond (300/1500) et les types d'alerte. format_*_alert.js et plan_*_round.js partagent un squelette (10 lignes d'aide HTML) mais leur logique propre à chaque voie est majoritaire : un gabarit les rendrait plus difficiles à lire (#61). Ils restent séparés.
4c Particularité cachée à conserver constat Dans le workflow unlock live, les identifiants des conditions IF et Switch sont calculés dans l'espace de noms conférences. _own ne réécrit que id et webhookId (AU/workflows/unlock_collector/build_workflow.py:104-109), pas l'id de condition (AU/workflows/conference_collector/build_workflow.py:116,218). Vérifié sur generated/workflow-unlock-collector.json : les 4 IF et les 3 règles Switch portent l'id de l'espace conférences. Le kit doit reproduire cela, sinon le JSON change et un redéploiement devient nécessaire.
4d Le test actuel garantit-il l'identité octet pour octet ? FAUX test_generated_files_are_current compare des dictionnaires (json.loads(...) == build_workflow(), AU/workflows/conference_collector/tests/test_build_conference_collector.py:25-26), insensibles à l'ordre des clés. Il faut un test sur les octets (étape A1).
5a La recherche web est codée 3 fois hors de l'enveloppe commune VRAI, avec 3 politiques différentes conferences/websearch.py:93-120 : 2 essais, attrape (OpenAIError, ValueError, TimeoutError), envoie max_tokens, effort conditionnel, lève web_search_failed. conferences/links.py:305-344 : 1 essai, toute erreur fournisseur donne [], pas de max_tokens. unlocks/investigate.py:373-397 : 1 essai, aucune capture d'erreur fournisseur, effort fixe low, modèle settings.search_model. On peut donc partager la requête, pas la politique.
5b L'usage est compté de 4 façons VRAI, 4 formes de clés conferences/llm.py:18-46 (7 clés initialisées) ; unlock_runner.py:286-295 (clés créées à la demande, avec attempts) ; unlocks/updates.py:148-153 (sous-dictionnaire par étape) ; unlocks/investigate.py:246-254,437-446,510 (4 clés initialisées, direct_fallbacks). Détail et lecteurs à l'étape 11.
5c Noms privés de llm_client importés ailleurs VRAI _openrouter_response_format : conferences/websearch.py:20, conferences/links.py:25, unlocks/investigate.py:33, tests/test_cascade.py:20, tests/test_v4_reconciliation.py:25 (et tests/test_llm_client.py:979,2085). _DIRECT_CHAT_FALLBACKS : unlocks/investigate.py:32,474. Hors llm_client, même problème pour network._public_addresses (browser_egress.py:23, conferences/fetch.py:26) et network._fetch_public_resource (unlocks/investigate.py:37).
5d Recherche web « sans repli direct » VRAI, mais aucun repli équivalent n'existe Le greffon web (plugins: [{"id":"web"}]) est propre à OpenRouter. Baseten (repli de GLM, llm_client.py:68-71) n'a pas de recherche web. OpenAI direct a son propre outil de recherche, avec d'autres résultats, d'autres citations, un autre coût et un autre contrat de prompt. Ce ne serait pas un repli mais une nouvelle fonction, à calibrer. Le lot 2 n'en ajoute pas.
6 Le scorer unlock a sa propre entrée au lieu de v4_impact VRAI, mais la réutilisation du constructeur est invalide unlock_runner.py:233-263 contre v4_impact.py:143-195. V4 exige des items résolus avec claim et subject (v4_impact.py:160-164), lit le ticker brut en base (v4_impact.py:111-124) et retire les URL du contexte (v4_impact.py:57-59,191). L'unlock met le ticker en majuscules et le tronque à 30 caractères (unlock_runner.py:248), garde les URL des citations et fabrique ses ancres. Réutiliser le constructeur V4 changerait ce que lit le modèle, donc exigerait prompt-calibration : hors lot. Déjà partagés : les schémas ImpactScorer* et validate_impact_indices (unlock_runner.py:23-33,58). Seuls les messages et l'appel sont partageables à l'identique (étape 12), ce qui n'est pas recommandé maintenant (décision F).
7a _cited est en double VRAI unlocks/updates.py:214-216 et unlocks/investigate.py:725-727, corps identiques.
7b THRESHOLD_PCT et la fenêtre de 365 jours sont en double VRAI (lignes décalées d'une unité) unlocks/schedule.py:18-19 et unlocks/discovery.py:30-31 (et non 31-32). discovery.py importe déjà schedule (:27).
7c La clause blog:coin: de unlocks/updates.py est morte, « sans perte » FAUX Les articles actuels portent bien x:author:<social_account_id> (blogs/collector.py:509), calculé sur la même colonne coin.social_account_id que celle passée en x_account (unlock_runner.py:502,414 ; unlocks/discovery.py:271,280) : tout article actuel passe par la clause x:author. Mais la première version du collecteur de blogs (5c69bd6, déployée le 08/11 vers 14:00 UTC) écrivait blog:coin:<coin_id>, jusqu'à 72f6d85 (déployé le 10/11 à 22:19 UTC) : git show 72f6d85 -- src/services/blogs/collector.py montre le remplacement. Ces articles d'essai restent en base avec l'ancienne clé, et la découverte relit 90 jours d'articles (unlocks/discovery.py:37,279-281). La clause les rend donc encore visibles jusqu'au 9 février 2027 environ. Le test tests/unlocks/test_updates.py:117 utilise l'ancien format ; aucun test ne couvre le format actuel. Voir décision G.
7d Normaliseurs d'adresse NUANCÉ conference_runner._same_address (:616-621) et websearch._entry (:70-76) calculent la même clé (hôte sans www., chemin sans / final, en minuscules). Corpus de 12 URL (majuscules, port, IPv6, IDN, %7E, double /) : 0 écart, car pour une adresse http(s) les deux sont identiques par construction. text.page_address (text.py:17-20) diffère : tuple, chemin non mis en minuscules. official.edition_key (conferences/official.py:19-23), stocké, diffère pour une adresse sans schéma commençant par www.. _site_domain (conference_runner.py:393-400) est un autre concept, le domaine enregistrable. Seule la première paire est unifiable.
8 Code partagé entre voies VRAI Le rendu de preuve des blogs importe unlock_runner.coin_icon_url (source_renderer/renderer.py:309, import local). x_gateway importe x_stream.tweetapi (EE/src/services/x_gateway.py:15, EE/src/api/x_gateway.py:9). Voir étape 13 et décision H.

2.2 Constats supplémentaires (hors brief)


3. Étapes

Réglages communs à toutes les étapes

D=$(date +%Y%m%d); WT=wip/lot2-kit-commun-$D
PY=wip/venvs/event-engine-v4-production/bin/python
RUFF=wip/venvs/event-engine-v4-production/bin/ruff
# Tests backend : aucune clé de modèle dans l'environnement (un patch oublié échoue au lieu de payer).
T() { (cd $WT/engine && env -u OPENROUTER_API_KEY -u OPENAI_API_KEY -u BASETEN_API_KEY DATABASE_URL="sqlite://" $PY -m pytest -q -p no:cacheprovider "$@"); }
# Ruff : comptes par (fichier, code), jamais par ligne (une édition décale les numéros des alertes existantes).
RC='import json,os,sys,collections as c; k=lambda f:c.Counter((os.path.relpath(x["filename"]),x["code"]) for x in json.load(open(f))); b,n=k(sys.argv[1]),k(sys.argv[2]); up={f"{a} {d}":(b[(a,d)],v) for (a,d),v in n.items() if v>b[(a,d)]}; print(up or "ruff : aucune hausse"); sys.exit(bool(up))'
L() { (cd $WT/engine && $RUFF check src tests --no-cache --output-format json > $WT/ruff-now.json; $PY -c "$RC" $WT/ruff-baseline.json $WT/ruff-now.json); }
A() { (cd $WT/automations && $PY -m pytest -q -p no:cacheprovider workflows/conference_collector/tests workflows/unlock_collector/tests workflows/blog_collector/tests tooling/n8n/tests \
      && node --test workflows/conference_collector/tests/collector_nodes.test.js workflows/unlock_collector/tests/collector_nodes.test.js \
      && git diff --exit-code $BASE_AU -- workflows/conference_collector/generated workflows/unlock_collector/generated); }
# BASE_AU = origin/main du dépôt automations relevé à l'étape 0 (a9f205b le 18/11, ou le commit du lot 1 s'il a modifié ces builders).

Critère de réussite de chaque commit : T donne exactement les mêmes échecs que l'état de départ commun (plan/procedures.md §0 règle 6, mesuré à la livraison 0 : 6 échecs au 18/11), L ne montre aucune hausse d'un compte (fichier, code) par rapport au départ (171 alertes au départ, dont 99 dans src et 10 dans llm_client.py ; les fichiers déplacés par ce lot en ont 0, donc toute alerte sur leur nouveau chemin est une vraie hausse), et A réussit pour les commits n8n. Après chaque modification non triviale : passe simplify (règle mémoire 2), puis T et L à nouveau. Avant d'écrire du code qui touche Playwright, le SDK openai ou les Code nodes n8n : une lecture Context7 (règle 1 de CLAUDE.md), même si ce lot ne change aucun appel.

Étape 0 — Préparation (aucun commit)

  1. Lire plan/procedures.md (§0 règles et fenêtres, P-GIT, P-API) et reprendre l'état de départ commun de la livraison 0 au lieu d'en mesurer un autre.
  2. Vérifier l'état du lot 1 : git -C CMC-event-engine fetch origin && git log --oneline origin/main -15, puis lire les lignes API et « X stream collector » de docs/EVENT_ENGINE_PIPELINE.md. Pour commencer E1 à E4 et E7 à E15, il suffit que la livraison A du lot 1 soit fusionnée (paquet collectors/ présent). E5, E6 et le déploiement attendent sa livraison B déployée et une nuit sans anomalie.
  3. Créer les worktrees propres (#52) : git -C .../CMC-event-engine worktree add $WT/engine -b refactor/lot2-kit-commun origin/main, et de même .../CMC-automations vers $WT/automations. Vérifier qu'il n'y a pas de fichier .env dans $WT/engine.
  4. Coordination avec les autres sessions : lister les worktrees qui modifient les chemins déplacés. bash P="src/services/conferences src/services/unlocks src/services/blogs src/services/source_renderer/network.py src/services/llm_client.py src/services/conference_runner.py src/services/unlock_runner.py src/services/owned_events.py src/services/v4_impact.py src/main.py src/services/exceptions.py" cd .../CMC-event-engine && git worktree list --porcelain | awk '/^worktree/{print $2}' | while read w; do \ c=$(git -C "$w" status --porcelain -- $P | wc -l); b=$(git -C "$w" log --oneline origin/main..HEAD -- $P | wc -l); \ [ "$c$b" != "00" ] && echo "$w modifs=$c commits=$b"; done Le 18/11, quatre worktrees en ressortaient (blog-drafts-20261116, blog-paragraph-20261116, conference-selfheal-20261117, event-engine-new-sources/v2/engine-collector). Pour chaque branche active, demander à sa session de livrer ou de rebaser avant les étapes 2 à 6 (déplacements de fichiers), ou attendre.
  5. Relire l'inventaire de la section 4 avec ses commandes grep : le lot 1 a pu renommer _public_addresses ou _fetch_public_resource, ou ajouter des importeurs.
  6. Enregistrer les références de départ : T > $WT/tests-baseline.txt (suite complète, à comparer aux 6 échecs de la livraison 0) ; cd $WT/engine && $RUFF check src tests --no-cache --output-format json > $WT/ruff-baseline.json.
  7. Empreintes des fiches de preuve, faites avant tout changement : créer $WT/golden/render_cards.py. Ce script rend fact_card_html(json_ld_facts(), "10 December 2027 to 11 December 2027") (fixture de tests/conferences/test_proof.py) avec render_fact_card, et une fiche unlock proof_html(...) (fixtures event(), DOCS, DOSSIER de tests/unlocks/test_proof.py) avec render_proof. Il écrit les PNG et leur sha256 dans $WT/golden/before/. Le lancer depuis $WT/engine avant l'étape 9, et le garder pour l'étape 9.

Étape 1 (E1) — Tests de caractérisation (tests seulement)

Ces tests figent l'existant. Ils passent sur le code actuel et protègent chaque commit suivant. Les fichiers de référence sont produits par un script de $WT/ (non commité) à partir du code actuel, puis inclus dans le commit E1 (après le « go commit », §3 « Ordre interne et commits »).

Fixtures : conference_db (tests/test_owned_events.py:239) et unlock_db (tests/unlocks/test_runner.py:81) sont définies dans leur module. Les nouveaux fichiers les importent avec event_schema (tests/test_v4_persistence.py:952), comme le fait déjà tests/unlocks/test_updates.py:19-20 (# noqa: F401, F811). Aucun conftest.py n'est modifié.

Vérification : T ; aucune ligne de src/ ne change (git diff --stat -- src vide).

Étape 2 (E2) — Un seul type d'erreur des collecteurs

Étape 3 (E3) — text.py quitte les conférences

Étape 4 (E4) — fetch.py quitte les conférences, la capture de preuve y reste

Étape 5 (E5) — network.py rejoint web/, par un déplacement pur

Étape 6 (E6) — Noms publics des fonctions réseau utilisées ailleurs

Étape 7 (E7) — Petits doublons des unlocks

Étape 8 (E8) — Une seule boîte d'envoi des effets

Étape 9 (E9) — Un seul moteur de fiche de preuve hors ligne

Étape 10 (E10) — Une seule requête de recherche web ; noms publics de llm_client

Étape 11 (E11) — Un seul compteur d'usage

Appelant Clés (ordre d'insertion) Où elles vont Lecteurs
Conférences (Collector.usage) calls, prompt_tokens, completion_tokens, reasoning_tokens, cost_usd, failed_calls, uncosted_calls (initialisées) ConferenceRunResponse.usage (conference_runner.py:1009-1018) ; résumé de ronde stocké dans event_engine_source_cursor (conference,collector) metadata_json.runs[].usage (:924-960) _cost_alert lit cost_usd, calls, failed_calls, uncosted_calls (:909-921) ; le résultat usage:round FAILED arrive dans Plan Collector Round, puis dans le message de Report Edition Failures (Failed Execs) ; les audits lisent le résumé ; aucun nœud n8n ne lit usage
Unlock, scorer failed_calls(si échec), calls, attempts, prompt_tokens, completion_tokens, uncosted_calls(si sans coût), cost_usd UnlockRunResponse.usage (unlock_runner.py:708-717) personne : ni nœud n8n ni alerte
Unlock, dossiers dossier_triage / dossier_update : calls, prompt_tokens, completion_tokens, cost_usd même dictionnaire usage personne
Enquêteur calls, cost_usd, prompt_tokens, completion_tokens (initialisées), direct_fallbacks event_engine_unlock_candidate.usage (discovery.py:317,323), UnlockRunResult.diff, cumul usage.investigator (unlock_runner.py:725-729) le plafond cost_usd < max_cost_usd (investigate.py:521) ; la colonne stockée ; aucun nœud n8n

Étape 12 (E12, non recommandée pour l'instant, décision F) — Messages et appel du scorer partagés

Recommandation après relecture : ne pas la faire maintenant. score_finalized_events sert chaque décision X ; le gain est d'environ 15 lignes ; la seule justification est une source future (#63). La faire avec la première source qui notera l'impact. Le contenu ci-dessous reste la marche à suivre ce jour-là.

Étape 13 (E13, optionnelle) — Petites cohérences entre voies

Étape 14 (E14) — Garde de découpage et résolution de tous les imports

Étape 15 (E15, selon la décision G) — Clause blog:coin:

  1. Avant de décider, lancer une requête SQL en lecture seule en production, soumise au « go » d'Anthony (elle fait partie des lectures SQL de la livraison 0). Elle suit la règle du code (unlocks/updates.py:95-111) : le dernier ledger porteur d'un signal compte, puis il doit dire PRESENT_OR_PLAUSIBLE et avoir un canonical_user_content non vide. Le filtre sur le contenu s'applique au ledger choisi, pas au choix lui-même : sinon un ledger plus ancien serait retenu, ce que le code ne fait pas. sql SELECT count(*) AS items, count(*) FILTER (WHERE d.passed) AS passed, min(coalesce(i.source_created_at, i.captured_at)), max(coalesce(i.source_created_at, i.captured_at)) FROM event_engine_source_item i LEFT JOIN LATERAL (SELECT l.decision_payload->'response'->'prescreen'->>'event_signal' = 'PRESENT_OR_PLAUSIBLE' AND coalesce(l.decision_payload->>'canonical_user_content', '') <> '' AS passed FROM event_engine_decision_ledger l WHERE l.source_item_id = i.id AND coalesce(l.decision_payload->'response'->'prescreen'->>'event_signal', '') <> '' ORDER BY l.created_at DESC LIMIT 1) d ON true WHERE i.source_actor_key LIKE 'blog:coin:%' AND coalesce(i.source_created_at, i.captured_at) > now() - interval '90 days';
  2. Si passed = 0 : supprimer la clause (unlocks/updates.py:82 devient actors = [f"x:author:{x_account}"] if x_account else [], avec retour immédiat de [] si la liste est vide) et retirer le cas historique du test :117. Sinon : garder la clause avec un commentaire daté (« articles de l'essai du 08 au 10/11, sans effet au plus tard après le 2027-02-10 » : la fenêtre porte sur la date de publication, antérieure à la capture) et planifier sa suppression.
  3. Dans les deux cas, garder le test du format actuel ajouté à l'étape 1. Vérification : T.

Étapes n8n (dépôt automations, sans déploiement)

Ordre interne et commits

Règle git (arbitrage G3 et P-GIT) :

  1. aucun git commit sans le « go commit » d'Anthony. Un seul « go » peut couvrir la série annoncée ci-dessous, présentée avec son contenu et ses tests ;
  2. puis un « go push » ;
  3. puis un « go déploiement », séparé.

Chaque commit est petit et passe T et L (ou A) avec les mêmes échecs que la livraison 0. Les messages ne portent aucune mention d'IA (#5b). Avant de proposer la série : passe simplify sur l'ensemble des modifications.

# Dépôt Commit Dépend de
E1 engine test: characterise the collector kit before the lot-2 refactor livraison A du lot 1 fusionnée
E2 engine refactor: one collector error type in services.exceptions E1
E3 engine refactor(web): text reading tools leave the conference lane E2
E4 engine refactor(web): pinned HTTP and Chromium reader leave the conference lane E3
E5 engine refactor(web): the pinned download primitive moves to services/web (déplacement pur) E4, livraison B du lot 1 déployée, aucune branche ouverte sur network.py
E6 engine refactor(web): public names for the network helpers used across modules E5
E7 engine refactor(unlocks): one dossier base model, one cited-documents rule, one threshold E3
E8 engine refactor(collectors): one effect outbox for conferences and unlocks E1 (+ décision E)
E9 engine refactor(proof): one offline fact-card renderer empreintes de l'étape 0.6
E10 engine refactor(llm): one OpenRouter web-search request; public response format and fallback lookup E1
E11 engine refactor(collectors): one model-usage tally E10
E12 engine non recommandé maintenant (décision F) —
E13 engine refactor: coin icon rule beside the logo fetcher; one official-address key (si décision H) E4
E14 engine test: lanes and web tools do not import each other; every import resolves E13 ou E6
E15 engine selon la décision G E1, requête de la livraison 0
A1 automations aucun commit : contrôle des deux tests test_generated_file_is_byte_identical du lot 1 livraison 2 (lot 1 C) intégrée
A2 automations refactor(collectors): conference and unlock builders share one node kit A1
A3 automations test(collectors): the two shared Code nodes cannot drift apart (si décision L) A2

Avant le push : git fetch origin && git rebase origin/main (P-GIT), puis refaire T, L et A. Noter SHA_EE, le dernier commit de la série E poussé : c'est lui, et lui seul, que P-API déploiera (§5).

Nettoyage, après la relecture du lendemain : copier les preuves ($WT/golden/, $WT/tests-baseline.txt, $WT/ruff-*.json, résultats de parité) dans wip/lot2-kit-commun-$D/preuves/, hors des worktrees, puis git worktree remove $WT/engine et $WT/automations (#52 : la suppression efface tout le dossier du worktree).


4. Inventaire des points d'impact

Commandes à relancer à l'étape 0 et avant chaque push (racine du worktree engine) :

grep -rn "conferences\.fetch\|conferences import .*fetch\|conferences\.text\|conferences\.models import Strict\|ConferenceCollectorError\|source_renderer\.network\|source_renderer import .*network\|_public_addresses\|_fetch_public_resource\|_openrouter_response_format\|_DIRECT_CHAT_FALLBACKS\|unlock_runner import coin_icon_url\|blog:coin:" --include=*.py src tests scripts sandbox    # src/x_stream compris (link_preview.py après le lot 1)
grep -rnE "[\"']src\.services\.[a-z_.]+[\"']" --include=*.py tests    # chemins de module en chaîne (monkeypatch, caplog), guillemets simples ou doubles

4.1 conferences/fetch.py → web/fetch.py

4.2 conferences/text.py → web/text.py

4.3 ConferenceCollectorError → CollectorError (90 occurrences)

4.4 source_renderer/network.py → web/network.py

4.5 llm_client, recherche web, usage, scorer

4.6 Contrats n8n consommateurs (aucun ne change)

4.7 Pourquoi aucun module de compatibilité

Tous les importeurs sont dans le dépôt. scripts/seed_unlock_registry.py:18-20 n'importe que unlocks.dossier (non déplacé). sandbox/ n'importe rien de src. Le conteneur X tourne sur sa propre copie, cohérente avec elle-même. Après le lot 1, son fichier link_preview.py importe network.py, mais il est déplacé dans le même commit que tous les autres importeurs. Aucun objet n'est stocké sous son chemin de classe (pas de pickle). n8n ne connaît que des URL HTTP.


5. Déploiement

Les procédures génériques sont dans plan/procedures.md (arbitrage G2). Ce lot ne garde ici que ses propres préalables, vérifications et critères d'arrêt.

Ce qui part.

Ordre.

  1. Push de automations (A2 et A3, sources seules).
  2. Push de engine (E1 à E15).
  3. P-API avec SHA_EE.
  4. Vérifications ci-dessous.
  5. Relecture des courses de la nuit suivante.

Préalables propres au lot 2.

  1. Commits attendus. La plage <commit déployé>..SHA_EE ne liste que les commits E de ce lot (E1 à E15, sans E12 si la décision F reste « non »). SHA_EE..origin/main est vide ; sinon on s'arrête et on se coordonne (P-API). C'est ce qui empêche de redéployer le code d'une autre session poussé entre-temps, comme le 18/11 à 06:35 UTC (docs/EVENT_ENGINE_PIPELINE.md:25).
  2. Livraisons précédentes. La livraison 3 (lot 1 B, collecteur X) est déployée, suivie d'une nuit sans anomalie ; 4g (livraison 5) est en place. Les branches des autres sessions sur les fichiers déplacés sont livrées (étape 0.3).
  3. Fenêtre. Les fenêtres canoniques de plan/procedures.md §0 (relues à 23:28) : build, comparaison des dépendances et contrôles préalables entre 09:15 et 10:05 UTC ; redémarrage de l'API entre 10:06 et 10:08, une seule fois dans la journée ; vérifications ci-dessous (dont les 15 min de voie X et les passages à blanc facultatifs) jusqu'à 11:00. Le drain de P-API met en pause la Queue et le Blog Collector (plan/procedures.md §2, depuis final-pass F-15) : aucune alerte « connection refused » du Blog Collector n'est attendue. Exception : si la session blogs refuse la pause (--keep-blog), Claim Next Article (chaque minute, sans réessai ; Failed Execs n'accorde un délai de grâce qu'à la Queue, AU/workflows/failed_execs/README.md:23-32) donnera 1 ou 2 alertes, à annoncer à Anthony avant.
  4. Image de retour arrière. Tag cmc-event-engine-api:rollback-pre-lot2-<AAAAMMJJ> (nom uniforme, G2).
  5. Dépendances, règle plus stricte que P-API pour ce lot. P-API n'arrête que sur un saut majeur ou un changement de Playwright/Chromium. Ce lot doit être à comportement constant, donc on s'arrête avant up dans trois cas : une couche placée avant COPY src/ n'est pas CACHED (apt/ffmpeg compris, Dockerfile, final-pass F-8) ; les couches pip install . et playwright install ne sont pas réutilisées ; pip freeze diffère entre l'ancienne et la nouvelle image. On relance l'ancienne image si besoin, puis on demande à Anthony. Pour ce lot, le risque concret est un autre Chromium, donc d'autres octets de preuve (étape 9).

Instantané avant redémarrage (lecture seule). curl -fsS http://127.0.0.1:3282/collectors/{conferences,unlocks}/effects/pending vers /root/lot2-check/*-before.json. Limite : le matin, ces listes sont normalement vides après les courses de nuit. La comparaison avant/après ne prouve donc que l'accès aux deux points ; les vraies preuves d'identité sont les tests de l'étape 1.

Vérifications propres au lot 2, après les contrôles génériques de P-API (lecture seule).

  1. Imports, y compris ceux placés dans une fonction (le contrôle import src.main ne voit pas open_graph.py:87 ni renderer.py:309). Le même contrôle, prototypé hors ligne sur 339a038 (512 imports, aucun non résolu), est lancé dans le conteneur : bash docker exec -i event-engine-api python - <<'EOF' import ast, importlib, pathlib bad = [] for f in sorted(pathlib.Path("/app/src").rglob("*.py")): for n in ast.walk(ast.parse(f.read_text())): if isinstance(n, ast.ImportFrom) and (n.module or "").startswith("src"): mod = importlib.import_module(n.module) for a in n.names: if a.name != "*" and not hasattr(mod, a.name): try: importlib.import_module(f"{n.module}.{a.name}") except ImportError: bad.append(f"{f}:{n.lineno} {n.module}.{a.name}") print(bad or "imports OK") EOF
  2. Voie X, pendant 15 minutes, car E5 et E6 touchent le chemin de /v4/decide (médias, v4_media_evidence.py:37) et du rendu des preuves (capture.py:14, blog_card.py:29, smart_tags.py:12, x_articles.py:14, open_graph.py:87, browser_egress.py:23) :
  3. Les deux curl des effets en attente, vers …-after.json, puis cmp avec l'instantané.
  4. Passage à blanc unlock (facultatif, 0 $ de modèle).
  5. Passage à blanc conférences (facultatif) : seulement si deux requêtes SQL en lecture seule le permettent. sql SELECT max(last_discovered_at) FROM event_engine_conference_edition; -- doit être du jour UTC SELECT count(*) FROM event_engine_conference_edition WHERE human_deleted IS FALSE AND status IN ('CANDIDATE','ACTIVE','CANCEL_PENDING') AND next_check_at <= now(); -- doit valoir 0
  6. Courses suivantes : la vraie validation. Lecture des blogs à :05, puis le lendemain matin :
  7. Nettoyage : après la relecture du lendemain, rm -r /root/lot2-check (#10).

Critères d'arrêt propres au lot 2 (en plus de ceux de P-API). Chacun déclenche le retour arrière de P-API avec /root/lot2-check/rollback.env :

Si une autre session a déployé par-dessus, revert de E1 à E15 seulement. Les commits n8n (A2, A3) ne demandent aucun retour arrière live.


6. Risques et parades

Risque Parade
Une autre session modifie un fichier déplacé (conflit, ou correctif perdu au rebase) Étape 0.3. Déplacements purs (git mv) dans des commits séparés des modifications. Fenêtre courte entre rebase et push. Ne jamais pousser network.py tant qu'une branche l'attend.
On déploie le code d'une autre session poussé après le nôtre Déploiement de SHA_EE épinglé, avec contrôle des deux plages (préalable 1, P-API).
Un importeur oublié (chemin en chaîne, import dans une fonction, script) Inventaire de la section 4 avec grep sur les deux guillemets ; tests E14 (découpage, résolution de tous les imports et des chaînes) ; contrôle des imports dans le conteneur.
Un patch de test oublié laisse partir un vrai appel payant Tests lancés sans aucune clé dans l'environnement ni fichier .env dans le worktree : un appel réel échoue au lieu de payer.
Les octets des preuves changent Empreintes avant/après (étape 9) ; pyproject.toml intact ; dépendances d'image identiques, sinon arrêt (préalable 5). La conséquence est bornée (étape 9).
Le JSON n8n change sans qu'on le voie Tests à l'octet près du lot 1, passés par render_workflow, git diff --exit-code $BASE_AU, parité complète avec le live (id, positions, settings, versionId == activeVersionId). Aucun déploiement n8n prévu.
Dérive des compteurs d'usage ou de coût (plafond de l'enquêteur, alerte de coût conférences) Tests de caractérisation sur l'ordre des clés et les types ; vérification de propriétés faite pendant la rédaction.
Le cœur V4 est touché (renommage dans llm_client) Suite complète (test_llm_client.py, test_v4_*) ; vérification de la voie X pendant 15 min après le déploiement. E12, qui toucherait score_finalized_events, n'est pas recommandée maintenant.
Le redémarrage bloque un post en Normalize ou Enrich Drain de P-API ; contrôle des blocked_alerted (vérification 2).
Changement de texte visible ou lu par un modèle (nom de classe dans l'alerte blogs et dans le message lu par l'enquêteur) Décision B. Les codes restent identiques ; aucun code ne compare ce texte (blogs/collector.py:703,825 ne testent que sa présence).
Le passage à blanc en production coûte de l'argent ou consomme le quota Browser Run Unlock : 0 $. Conférences : seulement si les deux requêtes SQL le permettent ; sinon, faux en local.
Le lot 1 n'est pas encore entièrement livré E5, E6 et le déploiement attendent sa livraison B et une nuit propre ; les autres étapes de code peuvent avancer.

7. Décisions à demander à Anthony

A. Où ranger le type d'erreur commun ?

B. Accepter qu'un libellé change dans trois textes ?

C. Garder la phase « conference_collector » dans le corps d'erreur HTTP, même pour les blogs ?

D. Déplacer network.py dans web/ ?

E. Aligner les unlocks sur les conférences pour un identifiant d'effet mal formé ?

F. Partager maintenant les messages et l'appel du scorer entre V4 et unlocks (E12) ?

G. Que faire de la clause blog:coin:, qui n'est pas morte ?

H. Ranger coin_icon_url à côté du lecteur de logos ?

I. Pas de déploiement n8n, et donc pas de Tidy Up ni de revue visuelle ?

L. Garde de divergence plutôt que gabarit pour les deux nœuds JS identiques ?

Décisions retirées de ce lot.


8. Documentation et mémoire


9. Effort et dépendances

Effort. Environ trois sessions et une courte relecture.

Place dans le calendrier (plan/00-plan-global.md §3, arbitrage G4) : livraison 8.

Dépendances.

Avant le lot 2 Après le lot 2
src/services/conferences/fetch.py (ChromiumBrowser, CollectorHttp, HostThrottle, RemoteBrowser, RenderedPage) src/services/web/fetch.py ; la capture de preuve est dans conferences/proof.py::ConferenceBrowser
src/services/conferences/text.py src/services/web/text.py ; ORG_SUFFIXES et core sont dans conferences/links.py
src/services/source_renderer/network.py, _public_addresses, _fetch_public_resource src/services/web/network.py, public_addresses, fetch_public_resource
ConferenceCollectorError (conferences/models.py) CollectorError (services/exceptions.py) ; handler HTTP inchangé, phase = conference_collector
llm_client._openrouter_response_format, _DIRECT_CHAT_FALLBACKS openrouter_response_format, direct_chat_fallback(model), web_search_completion(...)
compteurs count_usage (logique), unlock_runner._score (compteur), updates._count, Investigation.count collectors/usage.py::add_call, add_failed_call ; new_usage() reste dans conferences/llm.py. C'est la place recommandée d'un _cost_alert commun si le lot 3 en fait un (relecture transversale, constat 3.8)
effets dans chaque runner collectors/effects.py (append_effects, list_pending, group_effect_ids, drop_acknowledged)
unlocks/discovery.THRESHOLD_PCT, WINDOW (365 jours) lus depuis unlocks/schedule.py (THRESHOLD_PCT, WINDOW_DAYS)
updates._cited, investigate._cited unlocks/dossier.py::cited_doc_ids
builders : _api, _if, _switch, _telegram, _processor_node, _code, _own, test_generated_files_are_current workflows/collector_common/builder.py (Nodes, edge, render_workflow, collector_connections, collector_settings, validate_collector) ; tests à l'octet près

9.1 Points transmis au lot 3 (arbitrage G6), dans une formulation reprenable telle quelle.


10. Journal des corrections (relecture du 18/11)

review/lot2-review.md :

Id Constat Suite Raison
1 Déploiement non épinglé accepté SHA_EE noté au push ; plages <déployé>..SHA_EE et SHA_EE..origin/main contrôlées (§5 préalable 1, P-API).
2 Passage à blanc conférences pas toujours gratuit accepté Vérifié : last_discovered_at n'est écrit que si la découverte trouve des entrées (conference_runner.py:243,343). La garde exige aussi max(last_discovered_at) du jour UTC.
3 Cache Docker, dépendances non épinglées accepté Critère d'arrêt avant up ; comparaison pip freeze (P-API, G2).
4 Voie X non vérifiée, imports dans les fonctions accepté 15 min de contrôle de la Queue, de Process One Source, de /v4/* et /render-source-screenshot ; résolution de tous les imports, prototypée (512, aucun non résolu), en test E14 et dans le conteneur.
5 Comparaison ruff par numéro de ligne accepté Comptes par (fichier, code) ; commande testée hors ligne.
6 Commits sans « go » accepté Règle G3 et P-GIT, écrite en §3.
7 #61 incomplète pour les builders accepté Skill et doctrine lus avant A2 ; parité complète. Revérifié : id, positions et settings égaux, versionId == activeVersionId le 18/11.
8 Appels directs à _public_addresses dans les tests accepté test_source_renderer_network.py:42,116-118 ajoutés à E6.
9 E10 doit modifier un test E1 accepté Ajouté à E10.
10 grep limité aux guillemets doubles accepté grep -rnE "[\"']…[\"']", vérifié.
11 Contradiction sur les imports du conteneur X accepté Phrase de E5 corrigée.
12 F3 surestime le gain accepté « allège », avec l'ordre de grandeur.
13 Fixtures locales accepté Import documenté, sur le modèle de tests/unlocks/test_updates.py:19-20.
14 A1 en double avec le lot 1, format recopié accepté A1 limité au builder conférences ; render_workflow partagé.
15 A3 : gabarit pour un faible gain partiellement accepté Gabarit écarté pour l'instant. Une garde de divergence (test) le remplace, pour garder la protection contre une correction faite d'un seul côté (décision L).
16 E12 sur le chemin V4 pour un usage futur accepté Recommandation passée à « non pour l'instant » (décision F).
17 Précisions sur la décision B accepté Le modèle lit le texte ; effet de la troncature ; liste des journaux.
18 Alerte au redémarrage non annoncée accepté, puis remplacé par C-4 Vérifié (failed_execs/README.md:23-32) ; l'annonce ne vaut plus qu'avec --keep-blog (voir C-4).
19 Variables de retour arrière perdues accepté /root/lot2-check/rollback.env, gardé jusqu'au lendemain.
20 Passages à blanc et comparaisons peu probants accepté Limites écrites ; coin ajouté la nuit mentionné ; lancement par l'éditeur sans enregistrer (#31).
21 parity.py sans settings accepté Parité étendue (§3).
22 Requête E15 décalée par rapport au code partiellement accepté Filtre sur le signal dans la sous-requête accepté. Le filtre sur le contenu proposé dans la sous-requête est refusé : il choisirait un ledger plus ancien, alors que le code juge le dernier ledger porteur d'un signal (updates.py:107-111). Le contenu est testé sur le ledger choisi. Date « au plus tard » acceptée.
23a Étape 0.1 contre table des risques accepté Code après la livraison A du lot 1 ; E5, E6 et déploiement après la livraison B.
23b Docstring en français accepté En anglais.
23c #15bb en double avec #66 accepté #15bb retirée.
23d DEPLOY.md:53 partiellement accepté Note datée ajoutée, sans réécrire la liste historique.
23e Nettoyage des worktrees partiellement accepté Nettoyage ajouté. Mais $WT/golden et $WT/ruff-* sont hors des dossiers de worktree ($WT/engine, $WT/automations) : git worktree remove ne les efface pas. Copie des preuves gardée par prudence.
23f twitter_media.py absent accepté Retiré de l'arborescence mémoire (§8).

review/cross-lot-review.md, constats qui touchent ce lot :

Id Constat Suite Raison
2 Drain avant tout redémarrage de l'API accepté P-API avec drain ; contrôle blocked_alerted (§5).
3.8 Destination de _cost_alert accepté (passation) collectors/usage.py indiqué au lot 3 (§9).
4 deploy.py des conférences rejeté pour ce lot Ce lot ne déploie pas n8n (#63) ; collector_common est signalé comme emplacement possible, la décision revient au lot 3 (G7).
5 Points orphelins C, K, F1, J, F4 accepté §9.1 : F1 planifié au lot 3 avec sa formulation ; C, K et F4 « non planifiés » avec leur raison.
7 Validité et nom de l'image de retour arrière accepté cmc-event-engine-api:rollback-pre-lot2-<AAAAMMJJ>, valable jusqu'à la livraison 9 (ex-D6), ensuite revert.
8 Dépendance avec 4c accepté Dépendance inverse écrite en §9 et décision D.
9 État de départ commun accepté Repris de la livraison 0 (ex-G0) et de procedures.md §0 règle 6 (6 échecs, ruff 171).
10 Travail en double (A1, #15bb) accepté A1 limité aux conférences ; #15bb retirée.
12 Fenêtres accepté Une seule intervention par jour sur la voie X ; fenêtre remplacée par celle de procedures.md (voir F-14 ci-dessous).
14 Lien avec le collecteur X sous-estimé accepté E5 corrigée ; mentions au journal et sur la ligne « X stream collector » (§8).

Arbitrages : G2 (renvois à P-API, P-GIT, P-N8N et P-COLLECTEUR ; seules les vérifications propres au lot sont gardées), G3 (règle des « go »), G4 (place D5, 4c après) et G6 (§9.1) sont appliqués. G1, G5, G8 et G9 ne touchent pas ce lot.

review/final-pass.md §4 (passe finale du 18/11) :

Id Constat Suite Raison
F-10 Test à l'octet près des builders défini trois fois accepté Vérifié : le lot 1 crée test_generated_file_is_byte_identical pour les deux builders (plan/lot1.md:465). A1 ne crée plus de test ni de commit : il contrôle ces deux tests sur BASE_AU. A2 les fait passer par render_workflow sans les renommer. Le nom test_generated_file_is_the_builders_exact_output des premières versions de ce plan est abandonné ; le lot 3 doit citer celui du lot 1.
F-14 Fenêtres du matin écrites différemment accepté Fenêtres canoniques de plan/procedures.md §0 reprises telles quelles, relues en fin de correction (version de 23:28) : préparation 09:15-10:05, redémarrage 10:06-10:08, vérifications jusqu'à 11:00 UTC. L'ancienne consigne « minute pleine, éviter :00 et :30 » est retirée.
F-13 Renvois périmés accepté, pour ce qui touche ce lot Aucun des cinq renvois listés ne vise lot2.md. Ceux du plan ont été relus : séquence D3/D5/D6/D7 remplacée par les livraisons 3, 8, 9 et 10 de plan/00-plan-global.md §3, « G0 » remplacé par la livraison 0, plan/lot1.md:124,426,373-406,426-427,581 remplacés par :129,139,484,271,494-500,425-465,693 (vérifiés), et le renvoi « lot1.md §5.3 » par P-COLLECTEUR. Le texte final de #65 est laissé à la livraison 15. Les identifiants « 4a » à « 4d » de la section 2.1 sont les prémisses de ce plan, pas les sous-lots du lot 4.
F-8 La couche apt échappe au critère d'arrêt (P-API) accepté pour ce lot Le préalable 5 du §5 exige CACHED pour toutes les couches placées avant COPY src/.
C-4 Le lot 2 annonce encore une alerte du Blog Collector accepté Vérifié dans plan/procedures.md §2 : le drain met aussi le Blog Collector en pause par défaut. Préalable 3 du §5 corrigé : aucune alerte attendue, sauf avec --keep-blog (1 ou 2 alertes, annoncées).