Plan rédigé le 2026-11-18, en lecture seule, sur le code exact de production :
EE/ = event-engine (backend, 339a038, déployé) ;AU/ = automations (sources n8n, a9f205b) ;live/ = exports n8n lus le 18/11.Toutes les références chemin:ligne renvoient à ces copies. Le lot 1 crée src/services/collectors/ (run_lock.py, failure_report.py) et corrige src/services/source_renderer/network.py sur place. Le code du lot 2 commence après la fusion de la livraison A du lot 1 ; les étapes E5 et E6 et le déploiement attendent sa livraison B (collecteur X) et une nuit propre : c'est la livraison 8 du calendrier plan/00-plan-global.md §3, après la livraison 3 (lot 1 B) ; arbitrage G4. Les numéros de ligne des fichiers touchés par le lot 1 sont à relire à l'étape 0.
Corrigé le 18/11 après deux relectures (review/lot2-review.md, review/cross-lot-review.md) et les arbitrages G1 à G9 (review/01-arbitrages.md). Les procédures génériques (git, déploiement de l'API, n8n) sont celles de plan/procedures.md (P-GIT, P-API, P-N8N, P-COLLECTEUR, arbitrage G2) ; ce plan ne garde que les vérifications propres au lot 2. Le détail des corrections est en section 10.
Vérifications faites pendant la rédaction (locales, sans réseau, sans écriture dans les dépôts) :
tests/conferences, tests/unlocks, tests/blogs, test_owned_events.py, test_llm_client.py, test_v4_impact.py, etc.) ; 19 réussis pour les builders n8n ; 20 réussis pour les tests JS des deux collecteurs ;id, positions et settings compris, avec versionId == activeVersionId (revérifié à la relecture) ;src.*, y compris ceux placés dans une fonction, réussit sur 339a038 (512 imports) ; la comparaison ruff par (fichier, code) et la garde de divergence des nœuds JS ont été prototypées ;f991610e…) ;Objectif. Une future source référentielle (par exemple les listings) doit pouvoir réutiliser un seul kit au lieu de recopier celui des conférences. Concrètement :
conferences/, dans un paquet neutre src/services/web/ ;C'est une refonte à comportement constant. Chaque écart est listé dans ce plan et soumis à Anthony (section 7).
Non-objectifs.
src/services/browser_egress.py : CLAUDE.md #65 cite ce chemin comme seul lancement autorisé de Chromium.x-stream-collector). Sur 339a038, src/x_stream n'importe que src.db et src.models.source_inbox (EE/src/x_stream/worker.py:16, EE/src/x_stream/recovery.py:9). Mais le lot 1 y ajoute un import : x_stream/link_preview.py passera par source_renderer/network.py (plan/lot1.md:271,484, étape 6 et livraison B du lot 1). Les étapes 5 et 6 changent donc aussi le chemin d'import d'un fichier du collecteur. Le conteneur en marche n'est pas touché, car il tourne sur sa propre copie. Son prochain déploiement emportera ce chemin, sans changement de comportement (section 5).| # | Constat de l'audit | Verdict | Preuve |
|---|---|---|---|
| 1a | conferences/fetch.py (ChromiumBrowser, CollectorHttp, HostThrottle, Browser Run) est un outil partagé de fait |
VRAI, NUANCÉ | Importé par les blogs (EE/src/services/blogs/collector.py:55) et les unlocks (EE/src/services/unlocks/updates.py:22, EE/src/services/unlocks/investigate.py:28). Nuance : fetch.py importe la capture de preuve propre aux conférences (EE/src/services/conferences/fetch.py:25 : DEVICE_SCALE_FACTOR, PROOF_VIEWPORT, ProofShots, shoot), utilisée par la seule méthode ChromiumBrowser.capture (fetch.py:197-201), elle-même appelée seulement par conferences/proof.py:455. Le fichier ne peut donc pas être déplacé tel quel : capture doit rester côté conférences. |
| 1b | conferences/text.py (parse_html, squash, norm…) est partagé |
VRAI, NUANCÉ | parse_html est utilisé par les blogs (blogs/collector.py:57, blogs/feeds.py:13) et les unlocks (unlocks/updates.py:24, unlocks/investigate.py:30) ; squash par les unlocks (unlocks/dossier.py:15, unlocks/proof.py:21). Nuance : ORG_SUFFIXES et core (text.py:11-14, text.py:28-30) servent seulement aux liens intervenant → coin (conferences/links.py:22). Ils restent dans links.py. |
| 1c | models.py contient des éléments partagés (Strict, ConferenceCollectorError) |
VRAI, NUANCÉ | ConferenceCollectorError (conferences/models.py:16-22) est levé ou attrapé par les blogs (blogs/collector.py:56,287,995) et les unlocks (unlocks/updates.py:23,180,184, unlocks/investigate.py:29,78). Strict (models.py:25-26) est copié à l'identique de StrictModel (EE/src/api/v4_schemas.py:178-179, même ConfigDict(extra="forbid")). Les unlocks utilisent déjà StrictModel ailleurs (unlocks/updates.py:19, unlocks/investigate.py:27). Seul unlocks/dossier.py:14 importe Strict depuis les conférences. Vérifié : le schéma JSON d'un modèle ne dépend pas de sa classe de base (test en mémoire identique). |
| 1d | Correspondance HTTP de l'erreur dans src/main.py |
VRAI | EE/src/main.py:116-119 : 503 si retryable, 422 sinon, corps {"status":"FAILED","failure":{"code","phase":"conference_collector","retryable","message"}}. La phase vaut conference_collector pour toute erreur de cette classe, y compris celle de la course des blogs (blogs/collector.py:995-999). |
| 1e | Le nom de classe apparaît-il dans des données stockées, alertes ou code n8n ? | NUANCÉ | Code n8n : jamais (recherche dans AU/ et live/ : aucune occurrence). Données stockées : les codes (exc.code) sont stockés, pas le nom de classe (conference_runner.py:603, unlock_runner.py:621, unlocks/discovery.py:316). Mais le nom de classe entre dans trois textes : (1) last_error d'une chaîne de blog, stocké dans event_engine_source_cursor.metadata_json (blogs/collector.py:626,687,766) et recopié dans l'alerte Failed Execs « Report Failing Blogs » (blogs/collector.py:832 → live/mYAuzz1BuvjiJtEF.json, nœud Report Failing Blogs : f.error) ; (2) le résultat d'outil FAILED: <Type>: … lu par le modèle de l'enquêteur unlock (unlocks/investigate.py:433), donc une entrée de modèle au sens de #15m ; (3) les journaux (blogs/collector.py:331,339,754 et les traces). Voir décision B. |
| 1f | source_renderer/network.py peut aller dans web/ |
VRAI (recommandé) | 10 importeurs dans 5 zones : rendu X (source_renderer/blog_card.py:29, capture.py:14, open_graph.py:87 en import local, smart_tags.py:12, x_articles.py:14), browser_egress.py:23, collecteurs (conferences/fetch.py:26, blogs/collector.py:60, unlocks/investigate.py:37), v4_media_evidence.py:37. C'est l'outil de téléchargement épinglé de tout le moteur ; son nom actuel trompe. |
| 2 | La boîte d'envoi des effets est copiée dans les deux runners | VRAI, avec 3 écarts précis | Conférences : conference_runner.py:963-966 (liste), 1026-1043 (accusé de réception), 1046-1050 ; ajout : 555-559. Unlocks : unlock_runner.py:624-627, 736-752, 755-759 ; ajout : 382-386. Écarts : (a) les conférences vérifient que la référence est un UUID (conference_runner.py:1031), pas les unlocks (unlock_runner.py:741) ; (b) une édition disparue lève EDITION_NOT_FOUND, 422 (conference_runner.py:480-481), alors qu'une fiche disparue est ignorée (unlock_runner.py:747-749) ; (c) l'ordre de liste (edition_key ou fiche_key) et le texte du message d'erreur de base diffèrent. Le corps HTTP d'une erreur de base reste générique (main.py:59-62 : {"detail":"Database unavailable"}). |
| 2b | Filtrer en SQL les lignes à effets en attente | NUANCÉ | Un filtre JSON n'est pas portable : la colonne est JSON en SQLite et JSONB en PostgreSQL (EE/src/models/source_inbox.py:13-14). Il n'est pas prouvable sans risque. À la place, on lit la seule colonne pending_effects triée par clé : la sortie est identique par construction et la liste ne charge plus computed, applied_state, roster ni facts de chaque ligne à chaque accusé de réception (aujourd'hui select(UnlockFiche) complet après chaque effet, unlock_runner.py:626). |
| 3 | render_fact_card et render_proof sont identiques, au sélecteur près |
VRAI | conferences/proof_card.py:87-109 contre unlocks/proof.py:252-274 : seule différence, #conference-proof ou #unlock-proof. _jakarta() est identique (proof_card.py:32-35, unlocks/proof.py:68-71). CARD_WIDTH = 600 apparaît trois fois (proof_card.py:25, unlocks/proof.py:29, source_renderer/blog_templates.py:21). |
| 4a | Le builder unlock importe les fonctions privées du builder conférences | VRAI | AU/workflows/unlock_collector/build_workflow.py:16 (import build_workflow as conference), puis conference._api/_if/_switch/_processor_node/_telegram/_edge (:124,186-229). Les tests unlock importent PROCESSOR_FIXTURE du builder conférences (AU/workflows/unlock_collector/tests/test_build_unlock_collector.py:8). |
| 4b | Les nœuds JS sont des quasi-copies | VRAI pour 2, NUANCÉ pour 2 | select_next_effect.js et build_effect_ack.js ne diffèrent que par le préfixe (conference/unlock), le libellé (Conference/Unlock), le plafond (300/1500) et les types d'alerte. format_*_alert.js et plan_*_round.js partagent un squelette (10 lignes d'aide HTML) mais leur logique propre à chaque voie est majoritaire : un gabarit les rendrait plus difficiles à lire (#61). Ils restent séparés. |
| 4c | Particularité cachée à conserver | constat | Dans le workflow unlock live, les identifiants des conditions IF et Switch sont calculés dans l'espace de noms conférences. _own ne réécrit que id et webhookId (AU/workflows/unlock_collector/build_workflow.py:104-109), pas l'id de condition (AU/workflows/conference_collector/build_workflow.py:116,218). Vérifié sur generated/workflow-unlock-collector.json : les 4 IF et les 3 règles Switch portent l'id de l'espace conférences. Le kit doit reproduire cela, sinon le JSON change et un redéploiement devient nécessaire. |
| 4d | Le test actuel garantit-il l'identité octet pour octet ? | FAUX | test_generated_files_are_current compare des dictionnaires (json.loads(...) == build_workflow(), AU/workflows/conference_collector/tests/test_build_conference_collector.py:25-26), insensibles à l'ordre des clés. Il faut un test sur les octets (étape A1). |
| 5a | La recherche web est codée 3 fois hors de l'enveloppe commune | VRAI, avec 3 politiques différentes | conferences/websearch.py:93-120 : 2 essais, attrape (OpenAIError, ValueError, TimeoutError), envoie max_tokens, effort conditionnel, lève web_search_failed. conferences/links.py:305-344 : 1 essai, toute erreur fournisseur donne [], pas de max_tokens. unlocks/investigate.py:373-397 : 1 essai, aucune capture d'erreur fournisseur, effort fixe low, modèle settings.search_model. On peut donc partager la requête, pas la politique. |
| 5b | L'usage est compté de 4 façons | VRAI, 4 formes de clés | conferences/llm.py:18-46 (7 clés initialisées) ; unlock_runner.py:286-295 (clés créées à la demande, avec attempts) ; unlocks/updates.py:148-153 (sous-dictionnaire par étape) ; unlocks/investigate.py:246-254,437-446,510 (4 clés initialisées, direct_fallbacks). Détail et lecteurs à l'étape 11. |
| 5c | Noms privés de llm_client importés ailleurs |
VRAI | _openrouter_response_format : conferences/websearch.py:20, conferences/links.py:25, unlocks/investigate.py:33, tests/test_cascade.py:20, tests/test_v4_reconciliation.py:25 (et tests/test_llm_client.py:979,2085). _DIRECT_CHAT_FALLBACKS : unlocks/investigate.py:32,474. Hors llm_client, même problème pour network._public_addresses (browser_egress.py:23, conferences/fetch.py:26) et network._fetch_public_resource (unlocks/investigate.py:37). |
| 5d | Recherche web « sans repli direct » | VRAI, mais aucun repli équivalent n'existe | Le greffon web (plugins: [{"id":"web"}]) est propre à OpenRouter. Baseten (repli de GLM, llm_client.py:68-71) n'a pas de recherche web. OpenAI direct a son propre outil de recherche, avec d'autres résultats, d'autres citations, un autre coût et un autre contrat de prompt. Ce ne serait pas un repli mais une nouvelle fonction, à calibrer. Le lot 2 n'en ajoute pas. |
| 6 | Le scorer unlock a sa propre entrée au lieu de v4_impact |
VRAI, mais la réutilisation du constructeur est invalide | unlock_runner.py:233-263 contre v4_impact.py:143-195. V4 exige des items résolus avec claim et subject (v4_impact.py:160-164), lit le ticker brut en base (v4_impact.py:111-124) et retire les URL du contexte (v4_impact.py:57-59,191). L'unlock met le ticker en majuscules et le tronque à 30 caractères (unlock_runner.py:248), garde les URL des citations et fabrique ses ancres. Réutiliser le constructeur V4 changerait ce que lit le modèle, donc exigerait prompt-calibration : hors lot. Déjà partagés : les schémas ImpactScorer* et validate_impact_indices (unlock_runner.py:23-33,58). Seuls les messages et l'appel sont partageables à l'identique (étape 12), ce qui n'est pas recommandé maintenant (décision F). |
| 7a | _cited est en double |
VRAI | unlocks/updates.py:214-216 et unlocks/investigate.py:725-727, corps identiques. |
| 7b | THRESHOLD_PCT et la fenêtre de 365 jours sont en double |
VRAI (lignes décalées d'une unité) | unlocks/schedule.py:18-19 et unlocks/discovery.py:30-31 (et non 31-32). discovery.py importe déjà schedule (:27). |
| 7c | La clause blog:coin: de unlocks/updates.py est morte, « sans perte » |
FAUX | Les articles actuels portent bien x:author:<social_account_id> (blogs/collector.py:509), calculé sur la même colonne coin.social_account_id que celle passée en x_account (unlock_runner.py:502,414 ; unlocks/discovery.py:271,280) : tout article actuel passe par la clause x:author. Mais la première version du collecteur de blogs (5c69bd6, déployée le 08/11 vers 14:00 UTC) écrivait blog:coin:<coin_id>, jusqu'à 72f6d85 (déployé le 10/11 à 22:19 UTC) : git show 72f6d85 -- src/services/blogs/collector.py montre le remplacement. Ces articles d'essai restent en base avec l'ancienne clé, et la découverte relit 90 jours d'articles (unlocks/discovery.py:37,279-281). La clause les rend donc encore visibles jusqu'au 9 février 2027 environ. Le test tests/unlocks/test_updates.py:117 utilise l'ancien format ; aucun test ne couvre le format actuel. Voir décision G. |
| 7d | Normaliseurs d'adresse | NUANCÉ | conference_runner._same_address (:616-621) et websearch._entry (:70-76) calculent la même clé (hôte sans www., chemin sans / final, en minuscules). Corpus de 12 URL (majuscules, port, IPv6, IDN, %7E, double /) : 0 écart, car pour une adresse http(s) les deux sont identiques par construction. text.page_address (text.py:17-20) diffère : tuple, chemin non mis en minuscules. official.edition_key (conferences/official.py:19-23), stocké, diffère pour une adresse sans schéma commençant par www.. _site_domain (conference_runner.py:393-400) est un autre concept, le domaine enregistrable. Seule la première paire est unifiable. |
| 8 | Code partagé entre voies | VRAI | Le rendu de preuve des blogs importe unlock_runner.coin_icon_url (source_renderer/renderer.py:309, import local). x_gateway importe x_stream.tweetapi (EE/src/services/x_gateway.py:15, EE/src/api/x_gateway.py:9). Voir étape 13 et décision H. |
Investigation.search_web (unlocks/investigate.py:373-397) n'attrape aucune erreur OpenRouter. Une erreur fournisseur ou une réponse sans choices sort de run_tool, car READ_FAILURES (:78) ne contient ni openai.OpenAIError ni IndexError ni TypeError. Elle sort aussi du except de la découverte (unlocks/discovery.py:312 : InvestigatorError, FactsError, httpx.HTTPError, TimeoutError) et de run_unlock_collector, qui n'attrape que SQLAlchemyError (unlock_runner.py:652-706). Conséquence : toute la ronde unlock répond HTTP 500 et la candidate n'est pas marquée FAILED. La corriger change le comportement : c'est donc hors du lot 2. Le correctif est transmis au lot 3 avec sa formulation (§9.1, arbitrage G6). Le lot 2 fige le comportement actuel par un test, que le correctif inversera.uuid échoue très probablement et donne 503 au lieu de 422 (à confirmer). Ce cas n'est pas atteignable depuis n8n, car Select Next Effect impose l'UUID par une expression régulière (AU/workflows/unlock_collector/nodes/select_next_effect.js:8). Voir décision E.unlock_runner.py:750 → :626). La lecture de la seule colonne pending_effects allège chaque relecture sans changer la sortie (étape 8). Elle ne change pas l'ordre de grandeur : chaque accusé relit toujours toutes les lignes, soit fiches × effets lectures au premier chargement.v4_impact.py:124), l'unlock le met en majuscules (unlock_runner.py:248). C'est un sujet de calibration, sans action ici ; il est transmis au lot 3 comme « non planifié » (§9.1).event_engine_unlock_candidate.usage (unlocks/discovery.py:317,323) et son cost_usd sert de plafond de dépense (unlocks/investigate.py:521). Sa forme ne doit pas changer.memory/project_event_engine_pipeline.md:49, point (9), affirme que la clause blog:coin: est morte « sans perte » : c'est faux (constat 7c).D=$(date +%Y%m%d); WT=wip/lot2-kit-commun-$D
PY=wip/venvs/event-engine-v4-production/bin/python
RUFF=wip/venvs/event-engine-v4-production/bin/ruff
# Tests backend : aucune clé de modèle dans l'environnement (un patch oublié échoue au lieu de payer).
T() { (cd $WT/engine && env -u OPENROUTER_API_KEY -u OPENAI_API_KEY -u BASETEN_API_KEY DATABASE_URL="sqlite://" $PY -m pytest -q -p no:cacheprovider "$@"); }
# Ruff : comptes par (fichier, code), jamais par ligne (une édition décale les numéros des alertes existantes).
RC='import json,os,sys,collections as c; k=lambda f:c.Counter((os.path.relpath(x["filename"]),x["code"]) for x in json.load(open(f))); b,n=k(sys.argv[1]),k(sys.argv[2]); up={f"{a} {d}":(b[(a,d)],v) for (a,d),v in n.items() if v>b[(a,d)]}; print(up or "ruff : aucune hausse"); sys.exit(bool(up))'
L() { (cd $WT/engine && $RUFF check src tests --no-cache --output-format json > $WT/ruff-now.json; $PY -c "$RC" $WT/ruff-baseline.json $WT/ruff-now.json); }
A() { (cd $WT/automations && $PY -m pytest -q -p no:cacheprovider workflows/conference_collector/tests workflows/unlock_collector/tests workflows/blog_collector/tests tooling/n8n/tests \
&& node --test workflows/conference_collector/tests/collector_nodes.test.js workflows/unlock_collector/tests/collector_nodes.test.js \
&& git diff --exit-code $BASE_AU -- workflows/conference_collector/generated workflows/unlock_collector/generated); }
# BASE_AU = origin/main du dépôt automations relevé à l'étape 0 (a9f205b le 18/11, ou le commit du lot 1 s'il a modifié ces builders).
Critère de réussite de chaque commit : T donne exactement les mêmes échecs que l'état de départ commun (plan/procedures.md §0 règle 6, mesuré à la livraison 0 : 6 échecs au 18/11), L ne montre aucune hausse d'un compte (fichier, code) par rapport au départ (171 alertes au départ, dont 99 dans src et 10 dans llm_client.py ; les fichiers déplacés par ce lot en ont 0, donc toute alerte sur leur nouveau chemin est une vraie hausse), et A réussit pour les commits n8n. Après chaque modification non triviale : passe simplify (règle mémoire 2), puis T et L à nouveau. Avant d'écrire du code qui touche Playwright, le SDK openai ou les Code nodes n8n : une lecture Context7 (règle 1 de CLAUDE.md), même si ce lot ne change aucun appel.
plan/procedures.md (§0 règles et fenêtres, P-GIT, P-API) et reprendre l'état de départ commun de la livraison 0 au lieu d'en mesurer un autre.git -C CMC-event-engine fetch origin && git log --oneline origin/main -15, puis lire les lignes API et « X stream collector » de docs/EVENT_ENGINE_PIPELINE.md. Pour commencer E1 à E4 et E7 à E15, il suffit que la livraison A du lot 1 soit fusionnée (paquet collectors/ présent). E5, E6 et le déploiement attendent sa livraison B déployée et une nuit sans anomalie.git -C .../CMC-event-engine worktree add $WT/engine -b refactor/lot2-kit-commun origin/main, et de même .../CMC-automations vers $WT/automations. Vérifier qu'il n'y a pas de fichier .env dans $WT/engine.bash
P="src/services/conferences src/services/unlocks src/services/blogs src/services/source_renderer/network.py src/services/llm_client.py src/services/conference_runner.py src/services/unlock_runner.py src/services/owned_events.py src/services/v4_impact.py src/main.py src/services/exceptions.py"
cd .../CMC-event-engine && git worktree list --porcelain | awk '/^worktree/{print $2}' | while read w; do \
c=$(git -C "$w" status --porcelain -- $P | wc -l); b=$(git -C "$w" log --oneline origin/main..HEAD -- $P | wc -l); \
[ "$c$b" != "00" ] && echo "$w modifs=$c commits=$b"; done
Le 18/11, quatre worktrees en ressortaient (blog-drafts-20261116, blog-paragraph-20261116, conference-selfheal-20261117, event-engine-new-sources/v2/engine-collector). Pour chaque branche active, demander à sa session de livrer ou de rebaser avant les étapes 2 à 6 (déplacements de fichiers), ou attendre.grep : le lot 1 a pu renommer _public_addresses ou _fetch_public_resource, ou ajouter des importeurs.T > $WT/tests-baseline.txt (suite complète, à comparer aux 6 échecs de la livraison 0) ; cd $WT/engine && $RUFF check src tests --no-cache --output-format json > $WT/ruff-baseline.json.$WT/golden/render_cards.py. Ce script rend fact_card_html(json_ld_facts(), "10 December 2027 to 11 December 2027") (fixture de tests/conferences/test_proof.py) avec render_fact_card, et une fiche unlock proof_html(...) (fixtures event(), DOCS, DOSSIER de tests/unlocks/test_proof.py) avec render_proof. Il écrit les PNG et leur sha256 dans $WT/golden/before/. Le lancer depuis $WT/engine avant l'étape 9, et le garder pour l'étape 9.Ces tests figent l'existant. Ils passent sur le code actuel et protègent chaque commit suivant. Les fichiers de référence sont produits par un script de $WT/ (non commité) à partir du code actuel, puis inclus dans le commit E1 (après le « go commit », §3 « Ordre interne et commits »).
Fixtures : conference_db (tests/test_owned_events.py:239) et unlock_db (tests/unlocks/test_runner.py:81) sont définies dans leur module. Les nouveaux fichiers les importent avec event_schema (tests/test_v4_persistence.py:952), comme le fait déjà tests/unlocks/test_updates.py:19-20 (# noqa: F401, F811). Aucun conftest.py n'est modifié.
tests/collectors/test_effects.py (créer tests/collectors/__init__.py si le lot 1 ne l'a pas fait) :test_conference_pending_effects_are_listed_by_edition_key et test_unlock_pending_effects_are_listed_by_fiche_key : sortie exacte de pending_effects() (liste et ordre) sur 3 lignes, dont une vide ;test_conference_ack_refuses_other_owners_and_non_uuid_refs (UNKNOWN_EFFECT_ID) et test_conference_ack_of_a_missing_edition_is_edition_not_found ;test_unlock_ack_refuses_other_owners et test_unlock_ack_of_a_missing_fiche_is_ignored (comportement actuel, sans erreur) ;test_acknowledging_twice_is_harmless (pour les deux voies).tests/collectors/test_usage.py. Les dictionnaires sont comparés par list(d.items()), ce qui couvre l'ordre des clés et le type des valeurs :test_conference_tally_counts_answered_failed_and_uncosted_calls : ConferenceLLM.ask avec un faux call. Une télémétrie a un coût, une autre cost_usd=None, une a des reasoning_tokens, puis une EventEngineServiceError ;test_conference_tally_counts_raw_web_search_usage : count_usage avec un usage brut à cost, un sans coût, et None ;test_unlock_scorer_tally_keeps_its_keys_in_order : unlock_runner._score avec le nom retry_chat_completion_json_with_metadata remplacé dans unlock_runner et dans v4_impact (raising=False), pour que le test survive à l'étape 12 si elle est faite un jour. Cas : succès avec coût, succès sans coût, échec ;test_dossier_stage_tallies_are_nested_per_stage : updates.triage avec un faux appel ;test_investigator_tally_counts_answered_calls_and_direct_costs : Investigation.count avec usage brut, usage absent et coût explicite, puis direct_fallbacks.tests/test_web_search_requests.py. Le faux client remplace get_openrouter_client dans llm_client et dans websearch, links et investigate (raising=False) :test_conference_discovery_search_request_is_unchanged, test_conference_link_search_request_is_unchanged, test_investigator_search_request_is_unchanged : arguments exacts transmis à create (list(kwargs.items())) ;test_investigator_search_lets_a_provider_error_escape : fige F1 tel qu'il est aujourd'hui.tests/unlocks/test_runner.py::test_the_scorer_request_is_byte_identical : capture des messages passés au faux appel dans le parcours existant, comparés à tests/fixtures/unlock_scorer_request.json ;tests/test_v4_impact.py::test_the_v4_scorer_request_is_byte_identical : capture par completion_call dans un scénario existant, comparée à tests/fixtures/v4_impact_scorer_request.json. À n'ajouter qu'avec E12 : sans E12, ce lot ne touche pas v4_impact.py.tests/unlocks/test_updates.py :test_a_blog_article_under_the_current_actor_key_is_read : actor="x:author:12345", kind="blog" ;test_filed_dossier_response_format_is_unchanged : _openrouter_response_format(FiledDossier) et Dossier.model_json_schema() comparés à tests/fixtures/unlock_dossier_schemas.json.tests/unlocks/test_proof.py::test_the_sheet_renders_offline_with_the_proof_footer, sur le modèle du test conférence existant (tests/conferences/test_proof.py:349-355), avec skipif SKIP_BROWSER_TESTS.tests/test_exception_handlers.py::test_a_collector_error_keeps_its_wire_body : le gestionnaire est retrouvé dans app.exception_handlers par le nom de classe (ConferenceCollectorError ou CollectorError). On vérifie le statut (503 si retryable, 422 sinon) et le corps exact, phase comprise. Le test est simplifié à l'étape 2.Vérification : T ; aucune ligne de src/ ne change (git diff --stat -- src vide).
src/services/exceptions.py, après EventEngineServiceError (:11-12) : class CollectorError(EventEngineServiceError), avec le même __init__(self, code: str, message: str, *, retryable: bool = True) que conferences/models.py:19-22. Le placer ici plutôt que dans web/, comme le proposait D2, respecte CLAUDE.md #34 (« les services lèvent uniquement les exceptions de exceptions.py ») et évite que web/ dépende d'un collecteur (décision A).ConferenceCollectorError (conferences/models.py:16-22) et de l'import devenu inutile (:9).ConferenceCollectorError → CollectorError : 90 occurrences dans 26 fichiers (liste en section 4.3), avec l'import from src.services.exceptions import CollectorError. Dans src/main.py:27,116-119 : @app.exception_handler(CollectorError), corps inchangé, "phase": "conference_collector" compris (D4, décision C). Retirer ConferenceCollectorError de conferences/__init__.py:21-28,38 : vérifié, personne ne l'importe depuis le paquet.type(exc).__name__ (constat 1e), soumis à la décision B.CollectorError directement.T, L, puis grep -rn ConferenceCollectorError src tests vide.text.py quitte les conférencesgit mv src/services/conferences/text.py src/services/web/text.py ; créer src/services/web/__init__.py, avec une seule docstring en anglais, comme le reste du code, et sans réexport : « Neutral web tools shared by the collectors: pinned HTTP reads, the guarded browser, HTML text. »ORG_SUFFIXES et core (text.py:11-14,28-30) dans src/services/conferences/links.py, leur seul utilisateur (links.py:22). Docstring de web/text.py : « Text normalisation and HTML reading shared by the collectors. »src.services.web.text : conferences/extract.py:24, links.py:22 (sans core), official.py:9, roster.py:13, state.py:13, subject.py:20 ; blogs/collector.py:57, blogs/feeds.py:13 ; unlocks/dossier.py:15, investigate.py:30, proof.py:21, updates.py:24 ; tests tests/conferences/test_extract.py:18, test_official.py:106,116, tests/blogs/test_collector.py:1112.T, L, puis git show --stat HEAD doit montrer un renommage avec une similarité élevée.fetch.py quitte les conférences, la capture de preuve y restegit mv src/services/conferences/fetch.py src/services/web/fetch.py.web/fetch.py :conferences.proof (:25) et la méthode capture (:197-201) ;_open → open_page (:203) et _scroll → scroll_page (:297), car ils sont désormais utilisés par un autre module ;ChromiumBrowser (:162) ;remote (:168) ;network (:26) reste source_renderer.network jusqu'à l'étape 5.conferences/proof.py, ajouter class ConferenceBrowser(ChromiumBrowser) avec la méthode capture(url, name, dates) -> ProofShots, dont le corps est exactement l'ancien (open_page(url, viewport=PROOF_VIEWPORT, device_scale_factor=DEVICE_SCALE_FACTOR), scroll_page, shoot). Il n'y a pas d'import circulaire : web/fetch.py n'importe plus rien des conférences.conferences/collector.py:18,45 : construire proof.ConferenceBrowser(throttle=throttle, remote=RemoteBrowser.from_settings()) et importer CollectorHttp, HostThrottle, RemoteBrowser depuis web.fetch. conferences/__init__.py:3-13,17,32-41 : corriger la docstring et retirer les réexports ChromiumBrowser, CollectorHttp, HostThrottle (personne ne les importe depuis le paquet).src.services.web.fetch : blogs/collector.py:55, unlocks/updates.py:22, unlocks/investigate.py:28 ; tests tests/conferences/fakes.py:7 (RenderedPage), tests/conferences/test_fetch_remote.py:10. Les remplacements fetch._public_addresses, fetch._REMOTE_PACE et fetch.async_playwright (:80,81,85,137,157,158,160) restent valables, car les noms existent toujours dans le module.ChromiumBrowser sans capture, qu'ils n'appelaient pas. Seul changement visible : le nom du journal passe de src.services.conferences.fetch à src.services.web.fetch (ligne « Opening … in Cloudflare's browser », fetch.py:279). Aucune surveillance ne filtre sur ce nom (vérifié dans les docs, les skills et DEPLOY.md).T, L.network.py rejoint web/, par un déplacement purnetwork.py (étape 0.3). Sans cela, la livraison B du lot 1 partirait d'une copie où network.py a déjà bougé, et sa vérification ne porterait plus sur le code relu.git mv src/services/source_renderer/network.py src/services/web/network.py. Mettre à jour les 10 importeurs de src et les tests listés en section 4.4, y compris les chemins en chaîne "src.services.source_renderer.network._public_addresses" (tests/test_source_renderer_capture.py:292,331).x_stream/link_preview.py) ; son chemin change dans le même commit que les autres importeurs. Le conteneur en marche garde sa propre copie, cohérente, et prendra le nouveau chemin à sa prochaine livraison (tests tests/test_x_stream_*.py, P-COLLECTEUR). Désormais, tout changement de web/network.py est aussi un changement du collecteur X (à noter en §8).T, L, renommage à similarité de 100 %._public_addresses → public_addresses, _fetch_public_resource → fetch_public_resource. Le lot 1 garde ces deux noms privés (plan/lot1.md:129,139) et les laisse au lot 2 (plan/lot1.md:484) et ajoute des noms publics (public_url, pinned_get, pinned_fetch, PinnedReply, WEB_PORTS, REDIRECT_STATUSES) que le lot 2 déplace sans les renommer. Appelants : browser_egress.py:23,61, web/fetch.py (ex-:26,213), unlocks/investigate.py:37 et ses utilisations, web/network.py en interne, plus les nouveaux appelants du lot 1 (source_renderer/renderer.py, video_frames.py, x_stream/link_preview.py selon plan/lot1.md:494) : à relire par grep à l'étape 0.tests/test_source_renderer_network.py:27,58,79,96, tests/test_source_renderer_articles.py:181, tests/test_source_renderer_capture.py:292,331, tests/conferences/test_fetch_remote.py:80,157, tests/unlocks/test_discovery.py:221 ; appels directs tests/test_source_renderer_network.py:42,116,117,118 ; plus ceux que le lot 1 aura ajoutés (tests/test_x_stream_tweetapi.py, à relire par grep).T, L, puis grep -rn "_public_addresses\|_fetch_public_resource" src tests vide.unlocks/dossier.py:14,33-80 : Strict → StrictModel (from src.api.v4_schemas import StrictModel). Il y a 6 classes ; FiledSeries et FiledDossier en héritent (updates.py:55-64).unlocks/dossier.py : nouvelle fonction publique cited_doc_ids(dossier: Dossier) -> set[str], de corps identique. Supprimer updates._cited (:214-216) et investigate._cited (:725-727), et faire appeler la nouvelle fonction aux endroits qui les utilisaient (updates.py:302, investigate.py:709).unlocks/discovery.py:30-31 : supprimer THRESHOLD_PCT = 0.5 ; WINDOW = timedelta(days=WINDOW_DAYS), avec from src.services.unlocks.schedule import THRESHOLD_PCT, WINDOW_DAYS, TokenFacts, compute_fiches.test_filed_dossier_response_format_is_unchanged.T, L.src/services/collectors/effects.py :append_effects(row, effects: list[OwnedEffect]) -> None : corps identique à conference_runner.py:555-559 et unlock_runner.py:382-386 ;list_pending(column, order_by) -> list[OwnedEffect] : select(column).order_by(order_by), puis OwnedEffect.model_validate sur chaque effet. Seule la colonne est lue, ce qui allège chaque relecture (F3) ;group_effect_ids(effect_ids, owner, *, uuid_ref: bool) -> dict[str, set[str]] : même règle et même erreur V4DomainError("UNKNOWN_EFFECT_ID", "effects", effect_id, retryable=False) que conference_runner.py:1029-1033 ;drop_acknowledged(db, grouped, lock_row) -> None : parcourt les clés triées, verrouille, ignore None. Le verrou des conférences lève lui-même EDITION_NOT_FOUND.acknowledge_effects, pending_effects, list_pending_effects), réduites à quelques lignes. Le découpage des identifiants reste avant le try qui traduit SQLAlchemyError, comme aujourd'hui, et les messages de log "Conference effect acknowledgement failed" / "Unlock effect acknowledgement failed" sont gardés. Conférences : uuid_ref=True. Unlocks : uuid_ref=False par défaut, ou True si la décision E l'accepte.api/conference_collector.py:60-67, api/unlock_collector.py:16-23, schémas conference_schemas.py:144-145, unlock_schemas.py:86-87) ; liste plus légère à lire. Si la décision E est acceptée, seul changement : un identifiant unlock mal formé reçoit 422 UNKNOWN_EFFECT_ID au lieu d'être ignoré (SQLite) ou de provoquer probablement un 503 (PostgreSQL). n8n n'envoie jamais ce cas.tests/collectors/test_effects.py reste vert ; s'y ajoutent des tests unitaires de group_effect_ids et drop_acknowledged. Les tests de parcours (tests/test_owned_events.py:538-551,846, tests/unlocks/test_runner.py:231, tests/test_conference_collector_postgres.py:111) passent sans changement.T, L.src/services/source_renderer/fact_card.py :CARD_WIDTH = 600 ;ASSETS = Path(__file__).resolve().parents[1] / "editorial_x_renderer" / "assets" (même dossier qu'aujourd'hui) ;@cache jakarta_font() -> str (corps de _jakarta) ;async render_offline_card(page_html: str, selector: str) -> bytes, dont le corps est exactement proof_card.py:88-109, avec le seul paramètre selector.conferences/proof_card.py : render_fact_card(page_html) appelle render_offline_card(page_html, "#conference-proof") ; suppression de _jakarta, ASSETS et CARD_WIDTH, désormais importés. unlocks/proof.py : render_proof(page_html) appelle render_offline_card(page_html, "#unlock-proof"), avec les mêmes suppressions. Les noms publics restent, pour que tests/unlocks/test_runner.py:107 (monkeypatch.setattr(runner, "render_proof", ...)) et conferences/proof.py:21,444 ne changent pas.source_renderer/blog_templates.py:21 garde son propre CARD_WIDTH : autre chemin de rendu, hors lot.$WT/golden/render_cards.py, sur le même venv, après le commit. Les sha256 des deux voies doivent être égaux à ceux de before/. En cas d'écart d'octets seulement, comparer aussi les pixels avec PIL pour le diagnostic, mais ce cas bloque le commit.sha256(png) et PROOF_VERSION (unlock_runner.py:491-493). Une fiche n'est redessinée que si ses faits changent ou si PROOF_VERSION manque dans son URL (unlock_runner.py:567-570). Il n'y aurait donc pas de vague de redessin ; seules les fiches redessinées pour une autre raison prendraient le nouveau rendu ;conference_runner.py:866-873, test :868) ;PROOF_VERSION ni pyproject.toml. Au déploiement, P-API refuse une image dont les dépendances ont changé (cache pip et playwright, comparaison pip freeze, arbitrage G2). Pour ce lot, c'est un critère d'arrêt : pyproject.toml ne fixe que des minimums (openai>=1.60.0, playwright>=1.49.0, …), donc une couche non réutilisée installerait un autre Chromium, et d'autres octets de preuve.T, L, empreintes égales.llm_clientsrc/services/llm_client.py :_openrouter_response_format → openrouter_response_format (:519, utilisations :715,827,1006) ;direct_chat_fallback(openrouter_model: str) -> _DirectChatFallback | None, qui renvoie _DIRECT_CHAT_FALLBACKS.get(...) ;web_search_completion(*, model, prompt, response_model, max_results, reasoning_effort, max_tokens=_OMITTED). Elle construit, dans cet ordre, model, messages=[{"role":"user","content":prompt}], response_format=openrouter_response_format(response_model), puis max_tokens seulement s'il est fourni (sentinelle privée _OMITTED, parce que None doit rester transmis tel quel pour les conférences), puis extra_body={"plugins":[{"id":"web","max_results":max_results}],"usage":{"include":True}, **({"reasoning":{"effort":reasoning_effort,"exclude":True}} if reasoning_effort else {})}, et renvoie la réponse brute de get_openrouter_client().chat.completions.create(**request). Docstring : ni nouvel essai ni repli direct, car le greffon web n'existe que chez OpenRouter (prémisse 5d) ; chaque appelant garde sa politique.websearch._ask (:93-120) : la boucle ATTEMPTS, l'appel à on_usage avant le contrôle de choices, les exceptions attrapées et web_search_failed sont gardés ; max_tokens=config.max_output_tokens ;links.openrouter_web_search.search (:313-343) : le try couvre toujours la construction et l'appel ; (OpenAIError, TimeoutError) donne [] avec le même message d'avertissement ; on_usage vient après ; l'analyse est inchangée ; pas de max_tokens ;Investigation.search_web (:373-397) : model=self.settings.search_model, reasoning_effort="low", max_results=5, aucun try autour de l'appel (F1 reste tel quel), self.count(response), analyse inchangée.investigate.py:31-36,456,474 : openrouter_response_format et direct_chat_fallback(model). Tests : tests/test_cascade.py:20,190, tests/test_v4_reconciliation.py:25,393, tests/test_llm_client.py:979,2085 et le test E1 tests/unlocks/test_updates.py::test_filed_dossier_response_format_is_unchanged (nouveau nom) ; tests/conferences/test_websearch.py:127,134,146 et tests/conferences/test_links.py:335 remplacent désormais llm_client.get_openrouter_client. Les remplacements websearch._search et websearch._ask (:42-43,57,68,78,86,98-99) restent valables.tests/test_web_search_requests.py (étape 1) reste vert. Prototype vérifié pendant la rédaction : arguments égaux, dans le même ordre, pour les trois appelants.T, L, puis grep -rn "_openrouter_response_format\|_DIRECT_CHAT_FALLBACKS" src tests ne doit plus montrer que l'intérieur de llm_client.py.src/services/collectors/usage.py (D1, « compteur de coût »), avec deux fonctions.add_call(tally, *, prompt_tokens, completion_tokens, cost_usd, attempts=None, reasoning_tokens=None, count_uncosted=False). Ordre d'insertion : calls, attempts si fourni, prompt_tokens, completion_tokens, reasoning_tokens si fourni, uncosted_calls si count_uncosted et coût absent, puis cost_usd = round(get(...,0.0) + (cost or 0.0), 6). Toutes les clés sont lues par .get.add_failed_call(tally) : ajoute 1 à failed_calls.conferences/llm.py:33-46 : count_usage garde l'extraction (coût cost_usd, sinon cost, et tokens de raisonnement), puis appelle add_call(..., reasoning_tokens=reasoning or 0, count_uncosted=True) ; new_usage() (:18-30, forme propre aux conférences) reste ; :81-84 devient add_failed_call ;unlock_runner.py:286,289-295 : add_failed_call, puis add_call(usage, …, attempts=telemetry.attempts, count_uncosted=True) ;unlocks/updates.py:148-153 : supprimer _count et faire appeler add_call(usage.setdefault(stage, {}), …) à sa place (:169,288) ;unlocks/investigate.py:437-446 : count garde son retour anticipé sans usage, puis add_call(self.usage, prompt_tokens=int(...), completion_tokens=int(...), cost_usd=cost if cost is not None else float(getattr(usage, "cost", 0) or 0)).| Appelant | Clés (ordre d'insertion) | Où elles vont | Lecteurs |
|---|---|---|---|
Conférences (Collector.usage) |
calls, prompt_tokens, completion_tokens, reasoning_tokens, cost_usd, failed_calls, uncosted_calls (initialisées) |
ConferenceRunResponse.usage (conference_runner.py:1009-1018) ; résumé de ronde stocké dans event_engine_source_cursor (conference,collector) metadata_json.runs[].usage (:924-960) |
_cost_alert lit cost_usd, calls, failed_calls, uncosted_calls (:909-921) ; le résultat usage:round FAILED arrive dans Plan Collector Round, puis dans le message de Report Edition Failures (Failed Execs) ; les audits lisent le résumé ; aucun nœud n8n ne lit usage |
| Unlock, scorer | failed_calls(si échec), calls, attempts, prompt_tokens, completion_tokens, uncosted_calls(si sans coût), cost_usd |
UnlockRunResponse.usage (unlock_runner.py:708-717) |
personne : ni nœud n8n ni alerte |
| Unlock, dossiers | dossier_triage / dossier_update : calls, prompt_tokens, completion_tokens, cost_usd |
même dictionnaire usage |
personne |
| Enquêteur | calls, cost_usd, prompt_tokens, completion_tokens (initialisées), direct_fallbacks |
event_engine_unlock_candidate.usage (discovery.py:317,323), UnlockRunResult.diff, cumul usage.investigator (unlock_runner.py:725-729) |
le plafond cost_usd < max_cost_usd (investigate.py:521) ; la colonne stockée ; aucun nœud n8n |
tests/collectors/test_usage.py (étape 1). Une vérification de propriétés en mémoire pendant la rédaction (3 000 séquences tirées au hasard, sur les quatre formes) n'a trouvé aucun écart de clé, d'ordre, de valeur ni de type.T, L.Recommandation après relecture : ne pas la faire maintenant. score_finalized_events sert chaque décision X ; le gain est d'environ 15 lignes ; la seule justification est une source future (#63). La faire avec la première source qui notera l'impact. Le contenu ci-dessous reste la marche à suivre ce jour-là.
src/services/v4_impact.py :impact_scorer_messages(system_prompt, model_input) -> tuple[list[dict], str] : le même json.dumps(model_input.model_dump(mode="json", exclude_none=True), ensure_ascii=False, separators=(",", ":")) que v4_impact.py:333-337 et unlock_runner.py:272-274 ;async call_impact_scorer(messages, config, expected_indices, completion_call=None) : completion_call or retry_chat_completion_json_with_metadata, lu dans les noms de v4_impact au moment de l'appel. Même valideur, même traduction OpenAIServiceError → V4DomainError(exc.code, "impact", …).score_finalized_events garde l'ajout de TEMPORAL_SUMMARY_INSTRUCTION, la revalidation (validator(completion.value)) et la trace (prompt_sha256, model_input_json). unlock_runner._score garde son entrée propre (_scorer_input), son compteur et son failed_calls (pour cela, attraper V4DomainError à la phase impact, compter l'échec, puis relancer).tests/unlocks/test_runner.py:106 et tests/unlocks/test_updates.py:103 remplacent désormais v4_impact.retry_chat_completion_json_with_metadata, comme le fait déjà tests/test_owned_events.py:262. Les deux tests à l'octet près de l'étape 1 restent verts.T (dont tests/test_v4_impact.py en entier), L.coin_icon_url et COIN_ICON_CDN passent de unlock_runner.py:70,301-307 à src/services/editorial_x_renderer/media.py, à côté de LogoFetcher, qui récupère déjà ces logos. source_renderer/renderer.py:309 remplace son import local d'unlock_runner par un import normal depuis media (pas d'import circulaire : media.py n'importe que editorial_x_renderer.errors). Mettre aussi à jour unlock_runner.py (_coin_logo) et tests/unlocks/test_proof.py:100. Décision H.site_key(url) -> str dans web/text.py, au corps égal à la clé de _same_address. conference_runner._same_address (:616-621) compare deux site_key ; websearch._entry (:76) utilise site_key(found.official_url.strip()) après ses propres contrôles de schéma et d'hôte. edition_key, page_address et _site_domain restent, pour les raisons du constat 7d. Test : corpus d'URL de l'étape 1, sans écart.x_gateway → x_stream.tweetapi. Ce client sert à la fois l'API et le conteneur X, déployé à part (copie f422879). Le déplacer imposerait un déploiement coordonné du collecteur X sans aucun gain de comportement.T, L.tests/test_layering.py : lecture des imports par AST.src/services/web/* n'importe rien de conferences, unlocks, blogs, collectors, conference_runner ni unlock_runner ;unlocks et blogs n'importent rien de conferences, et réciproquement ;source_renderer n'importe rien d'unlock_runner.tests/test_imports_resolve.py : pour chaque ImportFrom de src/ et de tests/ dont le module commence par src., y compris ceux placés dans une fonction (open_graph.py:87, renderer.py:309, tests test_official.py:106,116…), importlib.import_module réussit et chaque nom importé existe. Pour chaque chaîne ["']src\.services\.[a-z_.]+["'] des tests (cibles de monkeypatch.setattr, caplog), la chaîne se résout soit comme module (nom de journal), soit comme module suivi d'un attribut existant ; une cible posée volontairement avec raising=False sur un attribut absent va dans une liste d'exceptions nommée dans le test. Ce test couvre ce que le contrôle d'import du conteneur ne voit pas.T.blog:coin:unlocks/updates.py:95-111) : le dernier ledger porteur d'un signal compte, puis il doit dire PRESENT_OR_PLAUSIBLE et avoir un canonical_user_content non vide. Le filtre sur le contenu s'applique au ledger choisi, pas au choix lui-même : sinon un ledger plus ancien serait retenu, ce que le code ne fait pas.
sql
SELECT count(*) AS items, count(*) FILTER (WHERE d.passed) AS passed,
min(coalesce(i.source_created_at, i.captured_at)), max(coalesce(i.source_created_at, i.captured_at))
FROM event_engine_source_item i
LEFT JOIN LATERAL (SELECT l.decision_payload->'response'->'prescreen'->>'event_signal' = 'PRESENT_OR_PLAUSIBLE'
AND coalesce(l.decision_payload->>'canonical_user_content', '') <> '' AS passed
FROM event_engine_decision_ledger l
WHERE l.source_item_id = i.id
AND coalesce(l.decision_payload->'response'->'prescreen'->>'event_signal', '') <> ''
ORDER BY l.created_at DESC LIMIT 1) d ON true
WHERE i.source_actor_key LIKE 'blog:coin:%'
AND coalesce(i.source_created_at, i.captured_at) > now() - interval '90 days';passed = 0 : supprimer la clause (unlocks/updates.py:82 devient actors = [f"x:author:{x_account}"] if x_account else [], avec retour immédiat de [] si la liste est vide) et retirer le cas historique du test :117. Sinon : garder la clause avec un commentaire daté (« articles de l'essai du 08 au 10/11, sans effet au plus tard après le 2027-02-10 » : la fenêtre porte sur la date de publication, antérieure à la capture) et planifier sa suppression.T.n8n-workflow-design et docs/N8N_WORKFLOW_DESIGN.md avant A2 (#61, refonte de sources n8n canoniques).AU/workflows/unlock_collector/build_workflow.py:31 (SCORER_MODEL lu dans workflows/source_processor/core_models.py, avec le même ordre de clés). Il ajoute un deploy.py à ce dossier et le test test_generated_file_is_byte_identical aux deux builders, Unlock et Conference (plan/lot1.md:425-465, livraison 2 du calendrier). Partir de ce builder, et non de celui de a9f205b. Vérifier à l'étape 0 que le JSON généré n'a pas changé (sinon, BASE_AU est le commit du lot 1).test_generated_file_is_byte_identical dans les tests des deux builders (plan/lot1.md:465, livraison 2). À l'étape 0, vérifier qu'ils existent dans BASE_AU et qu'ils passent ; sinon, s'arrêter, car la livraison 2 n'est pas intégrée. Ce lot n'en crée pas d'autre, et ne crée pas non plus le nom test_generated_file_is_the_builders_exact_output des versions précédentes du plan. En A2, ces deux tests gardent leur nom mais passent par render_workflow.AU/workflows/collector_common/builder.py. Le dossier n'a pas d'__init__.py, comme les autres (pytest.ini utilise --import-mode=importlib).API_BASE, ERROR_WORKFLOW_ID (Failed Execs czC8KCavR4mOvyygvWoxt), TELEGRAM_CREDENTIAL, PROCESSOR_FIXTURE.edge(node, index=0).render_workflow(workflow) -> str (json.dumps(..., ensure_ascii=False, indent=2) + "\n") : utilisée par les deux write_workflow et par les deux tests test_generated_file_is_byte_identical du lot 1 (OUTPUT.read_bytes() == render_workflow(build_workflow()).encode("utf-8")), pour que le format d'écriture n'existe qu'à un endroit.@dataclass(frozen=True) class Nodes(namespace: str, condition_namespace: str | None = None). Méthodes : id, code(name, js_code, position), if_(...), switch(...), api(...), processor(...), telegram(...), schedule(...), manual_trigger(...), set_config(...), stop_and_error(...), note(...). Leurs dictionnaires reprennent le même ordre de clés que AU/workflows/conference_collector/build_workflow.py:90-239,245-348. L'id des conditions IF et Switch vient de condition_namespace or namespace.collector_connections(schedule_node, format_alert, send_document, send_text, run_node, failures_if, failures_stop) : même ordre d'insertion que :354-384 et AU/workflows/unlock_collector/build_workflow.py:256-280.collector_settings(save_success).validate_collector(workflow, *, name, node_names, cron, manual_mode), qui fait les vérifications communes : identité, ensemble de nœuds, un seul déclencheur quotidien, manual_mode, une seule sortie par nœud selon #48, validate_telegram_policy, validate_structure.Nodes("conference-collector"). Unlocks : Nodes("unlock-collector", condition_namespace="conference-collector"), avec un commentaire sur la particularité 4c._own et l'import du builder conférences disparaissent ; le test unlock importe PROCESSOR_FIXTURE depuis collector_common.AU/workflows/collector_common/tests/test_builder.py : un nœud IF construit avec condition_namespace garde l'id conférences.collector_common/ est aussi l'endroit naturel d'un futur deploy.py commun des collecteurs (relecture transversale, constat 4). Ce lot ne le crée pas : il ne déploie rien dans n8n, et le lot 3 en décidera (arbitrage G7).select_next_effect.js et build_effect_ack.js restent dans chaque voie.AU/workflows/collector_common/tests/test_shared_nodes.py : pour chaque paire, retirer les lignes propres à la voie (entre la première ligne et const WEBHOOK_TYPES dans select_next_effect.js), remplacer conference/Conference et unlock/Unlock par un marqueur neutre, puis exiger l'égalité. Prototype vérifié en mémoire : les deux paires sont égales.__OWNER__ / __LABEL__ / __LANE_CONSTANTS__ avec render_code. Le prototype rendait exactement les 4 fichiers. Mais pour un gain d'environ 50 lignes, il ajoute un mécanisme et répartit un nœud sur deux fichiers. De plus, le dépôt emploie déjà des marqueurs __NOM__ pour les valeurs privées (tooling/n8n/canonical-directory.mjs:76-88, privatePlaceholders), ce qui prête à confusion. À reprendre quand une troisième voie aura besoin de ces deux nœuds.format_*_alert.js et plan_*_round.js restent propres à chaque voie (constat 4b).AU/workflows/conference_collector/README.md et unlock_collector/README.md citent le kit ; court AU/workflows/collector_common/README.md, comme accounting_common et coingecko_common.A, dont git diff --exit-code $BASE_AU -- …/generated qui doit rester vide.ROCqWGUxAbIgtcHV et iPaKN8gRPFt4KyjQ : nœuds complets (id et position compris), connexions et settings égaux au JSON généré, et versionId == activeVersionId.parity.py de l'audit ignore id, position, webhookId et settings : l'étendre, ou comparer les objets entiers.versionId == activeVersionId (64f457a9, 45705cb2).Règle git (arbitrage G3 et P-GIT) :
git commit sans le « go commit » d'Anthony. Un seul « go » peut couvrir la série annoncée ci-dessous, présentée avec son contenu et ses tests ;Chaque commit est petit et passe T et L (ou A) avec les mêmes échecs que la livraison 0. Les messages ne portent aucune mention d'IA (#5b). Avant de proposer la série : passe simplify sur l'ensemble des modifications.
| # | Dépôt | Commit | Dépend de |
|---|---|---|---|
| E1 | engine | test: characterise the collector kit before the lot-2 refactor |
livraison A du lot 1 fusionnée |
| E2 | engine | refactor: one collector error type in services.exceptions |
E1 |
| E3 | engine | refactor(web): text reading tools leave the conference lane |
E2 |
| E4 | engine | refactor(web): pinned HTTP and Chromium reader leave the conference lane |
E3 |
| E5 | engine | refactor(web): the pinned download primitive moves to services/web (déplacement pur) |
E4, livraison B du lot 1 déployée, aucune branche ouverte sur network.py |
| E6 | engine | refactor(web): public names for the network helpers used across modules |
E5 |
| E7 | engine | refactor(unlocks): one dossier base model, one cited-documents rule, one threshold |
E3 |
| E8 | engine | refactor(collectors): one effect outbox for conferences and unlocks |
E1 (+ décision E) |
| E9 | engine | refactor(proof): one offline fact-card renderer |
empreintes de l'étape 0.6 |
| E10 | engine | refactor(llm): one OpenRouter web-search request; public response format and fallback lookup |
E1 |
| E11 | engine | refactor(collectors): one model-usage tally |
E10 |
| E12 | engine | non recommandé maintenant (décision F) | — |
| E13 | engine | refactor: coin icon rule beside the logo fetcher; one official-address key (si décision H) |
E4 |
| E14 | engine | test: lanes and web tools do not import each other; every import resolves |
E13 ou E6 |
| E15 | engine | selon la décision G | E1, requête de la livraison 0 |
| A1 | automations | aucun commit : contrôle des deux tests test_generated_file_is_byte_identical du lot 1 |
livraison 2 (lot 1 C) intégrée |
| A2 | automations | refactor(collectors): conference and unlock builders share one node kit |
A1 |
| A3 | automations | test(collectors): the two shared Code nodes cannot drift apart (si décision L) |
A2 |
Avant le push : git fetch origin && git rebase origin/main (P-GIT), puis refaire T, L et A. Noter SHA_EE, le dernier commit de la série E poussé : c'est lui, et lui seul, que P-API déploiera (§5).
Nettoyage, après la relecture du lendemain : copier les preuves ($WT/golden/, $WT/tests-baseline.txt, $WT/ruff-*.json, résultats de parité) dans wip/lot2-kit-commun-$D/preuves/, hors des worktrees, puis git worktree remove $WT/engine et $WT/automations (#52 : la suppression efface tout le dossier du worktree).
Commandes à relancer à l'étape 0 et avant chaque push (racine du worktree engine) :
grep -rn "conferences\.fetch\|conferences import .*fetch\|conferences\.text\|conferences\.models import Strict\|ConferenceCollectorError\|source_renderer\.network\|source_renderer import .*network\|_public_addresses\|_fetch_public_resource\|_openrouter_response_format\|_DIRECT_CHAT_FALLBACKS\|unlock_runner import coin_icon_url\|blog:coin:" --include=*.py src tests scripts sandbox # src/x_stream compris (link_preview.py après le lot 1)
grep -rnE "[\"']src\.services\.[a-z_.]+[\"']" --include=*.py tests # chemins de module en chaîne (monkeypatch, caplog), guillemets simples ou doubles
conferences/fetch.py → web/fetch.pyunlocks/investigate.py:28, unlocks/updates.py:22,174,262, blogs/collector.py:55,230,233, conferences/__init__.py:17, conferences/collector.py:18,43-45, conferences/proof.py:455 (appel à capture).tests/conferences/fakes.py:7, tests/conferences/test_fetch_remote.py:10, remplacements de noms du module aux lignes 80,81,85,137,157,158,160.conferences/text.py → web/text.pyconferences/extract.py:24, links.py:22, official.py:9, roster.py:13, state.py:13, subject.py:20 ; blogs/collector.py:57, blogs/feeds.py:13 ; unlocks/dossier.py:15, investigate.py:30, proof.py:21, updates.py:24.tests/conferences/test_extract.py:18, tests/conferences/test_official.py:106,116, tests/blogs/test_collector.py:1112.ConferenceCollectorError → CollectorError (90 occurrences)main.py (3), conferences/websearch.py (4), proof.py (4), official.py (6), links.py (2), fetch.py (6), __init__.py (2), milkroad.py (2), state.py (4), extract.py (3), models.py (1), luma.py (3), unlocks/investigate.py (2), unlocks/updates.py (3), blogs/collector.py (3).tests/test_owned_events.py (9), tests/conferences/test_official.py (2), test_proof.py (3), test_fetch_remote.py (5), fakes.py (3), test_milkroad.py (2), test_state.py (3), test_websearch.py (7), test_extract.py (2), test_luma.py (2), tests/blogs/test_collector.py (4).AU/, dans live/ ni dans les skills. Une mention dans memory/project_event_engine_pipeline.md:49, à mettre à jour (section 8).source_renderer/network.py → web/network.pysource_renderer/blog_card.py:29, capture.py:14, open_graph.py:87 (import local), smart_tags.py:12, x_articles.py:14 ; browser_egress.py:23 ; web/fetch.py (ex-conferences/fetch.py:26) ; blogs/collector.py:60 ; unlocks/investigate.py:37 ; v4_media_evidence.py:37.tests/test_source_renderer_network.py:6,27,58,79,96 ;tests/test_source_renderer_articles.py:173,181 ;tests/test_source_renderer_capture.py:292,331 (chemins en chaîne) ;tests/conferences/test_fetch_remote.py:80,157 ;tests/unlocks/test_discovery.py:221.plan/lot1.md:494-500), à confirmer par grep à l'étape 0 : importeurs video_frames.py, source_renderer/renderer.py (_fetch_public_resource), x_stream/link_preview.py ; remplacements network.httpx.AsyncClient (tests/test_source_renderer_network.py:28-29,59-60,80,97, qui suivent le module importé) et ceux de tests/test_x_stream_tweetapi.py réécrits par le lot 1.smart_tags.fetch_public_html, blog_card.fetch_public_image, media.download_source_image, renderer.*) ne changent pas, car ils visent ces modules et non network.llm_client, recherche web, usage, scorer_openrouter_response_format : llm_client.py:519,715,827,1006, conferences/websearch.py:20,101, conferences/links.py:25,321, unlocks/investigate.py:33,383,456, tests/test_cascade.py:20,190, tests/test_v4_reconciliation.py:25,393, tests/test_llm_client.py:979,2085._DIRECT_CHAT_FALLBACKS : unlocks/investigate.py:32,474. tests/test_llm_client.py:17 importe _is_retryable ; c'est le test propre du module, on le laisse.get_openrouter_client remplacé dans les tests : tests/conferences/test_websearch.py:127,134,146, tests/conferences/test_links.py:335.retry_chat_completion_json_with_metadata remplacé dans les tests : tests/unlocks/test_runner.py:106, tests/unlocks/test_updates.py:100,103, tests/test_owned_events.py:262. tests/unlocks/test_discovery.py:298 remplace src.services.unlock_runner._score, dont le nom est gardé.render_proof remplacé : tests/unlocks/test_runner.py:107, nom gardé.Event Engine - Conference Collector (ROCqWGUxAbIgtcHV) :Read Pending Effects (GET /collectors/conferences/effects/pending) et Acknowledge Effect (POST /collectors/conferences/effects/ack) ;Run Conference Collector (POST /collectors/conferences/run) ;Has Pending Effect? (pending_effects), Select Next Effect (effect_id, type, payload), Plan Collector Round (remaining, results[].action|edition_key|reason, dry_run).Event Engine - Unlock Collector (iPaKN8gRPFt4KyjQ) : mêmes points sur /collectors/unlocks/* ; Plan Collector Round lit remaining_tokens, remaining_discovery, processed_tokens, results[].coin_id|reason.Event Engine - Blog Collector (mYAuzz1BuvjiJtEF) : POST /collectors/blogs/run ; Report Failing Blogs affiche failing[].error, dont le texte peut contenir le nom de classe (décision B).main.py:116-119) arrive dans Failed Execs (czC8KCavR4mOvyygvWoxt) : il est inchangé.SXL8njkhB3156Ab4) : rien ne change, car les octets des preuves sont identiques.Tous les importeurs sont dans le dépôt. scripts/seed_unlock_registry.py:18-20 n'importe que unlocks.dossier (non déplacé). sandbox/ n'importe rien de src. Le conteneur X tourne sur sa propre copie, cohérente avec elle-même. Après le lot 1, son fichier link_preview.py importe network.py, mais il est déplacé dans le même commit que tous les autres importeurs. Aucun objet n'est stocké sous son chemin de classe (pas de pickle). n8n ne connaît que des URL HTTP.
Les procédures génériques sont dans plan/procedures.md (arbitrage G2). Ce lot ne garde ici que ses propres préalables, vérifications et critères d'arrêt.
blocked_alerted x_context_execution_failed n'apparaît ;Ce qui part.
plan/00-plan-global.md §3). Même une refonte pure doit être livrée vite et seule : sinon, le prochain déploiement d'une autre session l'emporterait sans qu'on l'ait vérifiée.network.py, sans changement de comportement, et lancera tests/test_x_stream_*.py. À noter au journal (§8).Ordre.
automations (A2 et A3, sources seules).engine (E1 à E15).SHA_EE.Préalables propres au lot 2.
<commit déployé>..SHA_EE ne liste que les commits E de ce lot (E1 à E15, sans E12 si la décision F reste « non »). SHA_EE..origin/main est vide ; sinon on s'arrête et on se coordonne (P-API). C'est ce qui empêche de redéployer le code d'une autre session poussé entre-temps, comme le 18/11 à 06:35 UTC (docs/EVENT_ENGINE_PIPELINE.md:25).plan/procedures.md §0 (relues à 23:28) : build, comparaison des dépendances et contrôles préalables entre 09:15 et 10:05 UTC ; redémarrage de l'API entre 10:06 et 10:08, une seule fois dans la journée ; vérifications ci-dessous (dont les 15 min de voie X et les passages à blanc facultatifs) jusqu'à 11:00. Le drain de P-API met en pause la Queue et le Blog Collector (plan/procedures.md §2, depuis final-pass F-15) : aucune alerte « connection refused » du Blog Collector n'est attendue. Exception : si la session blogs refuse la pause (--keep-blog), Claim Next Article (chaque minute, sans réessai ; Failed Execs n'accorde un délai de grâce qu'à la Queue, AU/workflows/failed_execs/README.md:23-32) donnera 1 ou 2 alertes, à annoncer à Anthony avant.cmc-event-engine-api:rollback-pre-lot2-<AAAAMMJJ> (nom uniforme, G2).prompts envoyé par n8n et échoue en 422 à 01:20.git revert de E1 à E15, puis une nouvelle construction.PREV, AAAAMMJJ, le nom du tag et SHA_EE dans /root/lot2-check/rollback.env (si P-API ne le fait pas déjà). Garder ce fichier jusqu'à la relecture du lendemain : le retour arrière peut être décidé dans un autre shell.up dans trois cas : une couche placée avant COPY src/ n'est pas CACHED (apt/ffmpeg compris, Dockerfile, final-pass F-8) ; les couches pip install . et playwright install ne sont pas réutilisées ; pip freeze diffère entre l'ancienne et la nouvelle image. On relance l'ancienne image si besoin, puis on demande à Anthony. Pour ce lot, le risque concret est un autre Chromium, donc d'autres octets de preuve (étape 9).Instantané avant redémarrage (lecture seule). curl -fsS http://127.0.0.1:3282/collectors/{conferences,unlocks}/effects/pending vers /root/lot2-check/*-before.json. Limite : le matin, ces listes sont normalement vides après les courses de nuit. La comparaison avant/après ne prouve donc que l'accès aux deux points ; les vraies preuves d'identité sont les tests de l'étape 1.
Vérifications propres au lot 2, après les contrôles génériques de P-API (lecture seule).
import src.main ne voit pas open_graph.py:87 ni renderer.py:309). Le même contrôle, prototypé hors ligne sur 339a038 (512 imports, aucun non résolu), est lancé dans le conteneur :
bash
docker exec -i event-engine-api python - <<'EOF'
import ast, importlib, pathlib
bad = []
for f in sorted(pathlib.Path("/app/src").rglob("*.py")):
for n in ast.walk(ast.parse(f.read_text())):
if isinstance(n, ast.ImportFrom) and (n.module or "").startswith("src"):
mod = importlib.import_module(n.module)
for a in n.names:
if a.name != "*" and not hasattr(mod, a.name):
try: importlib.import_module(f"{n.module}.{a.name}")
except ImportError: bad.append(f"{f}:{n.lineno} {n.module}.{a.name}")
print(bad or "imports OK")
EOF/v4/decide (médias, v4_media_evidence.py:37) et du rendu des preuves (capture.py:14, blog_card.py:29, smart_tags.py:12, x_articles.py:14, open_graph.py:87, browser_egress.py:23) :o4cmp66lDjKDOF4v (Queue) et awrB2Ymt3iZPp14k (Process One Source) réussissent ;docker logs event-engine-api --since 15m | grep -E '"(POST|GET) /(v4/|render-source-screenshot|collectors/)[^"]*" 5[0-9]{2}' est vide ;POST /v4/decide répond 200 ; si une preuve a été rendue dans la fenêtre, au moins un POST /render-source-screenshot répond 200 ;blocked_alerted (requête S2 de plan/procedures.md §5).curl des effets en attente, vers …-after.json, puis cmp avec l'instantané.score_in_dry_run, que n8n n'envoie pas (unlock_schemas.py:48, unlock_runner.py:564) ; la relecture des dossiers (:408), Tokenomist (:665) et la découverte (:695-697) sont sautés.AU/workflows/unlock_collector/build_workflow.py:188-195).last_checked_at nul, unlock_runner.py:151-153) : rendu local et lecture du logo, toujours à 0 $.iPaKN8gRPFt4KyjQ dans l'éditeur sans rien modifier, cliquer « Execute workflow » (déclencheur manuel, manual_mode enregistré = dry_run), ne jamais enregistrer, fermer l'onglet (#31).sql
SELECT max(last_discovered_at) FROM event_engine_conference_edition; -- doit être du jour UTC
SELECT count(*) FROM event_engine_conference_edition
WHERE human_deleted IS FALSE AND status IN ('CANDIDATE','ACTIVE','CANCEL_PENDING') AND next_check_at <= now(); -- doit valoir 0max(last_discovered_at) est du jour UTC (conference_runner.py:327-330). Cette date n'est écrite que si la découverte de la nuit a trouvé des entrées (:243, :343). Si elle a échoué, le passage relance Luma, Milk Road et peut-être la recherche web. Il traite alors des éditions virtuelles, avec lectures, appels de modèle (« environ un demi-dollar » avec la recherche web, :89-90) et minutes de Browser Run prises au quota de la nuit.T : tests/test_owned_events.py:437,555,1070 et tests/unlocks/test_runner.py:342.ROCqWGUxAbIgtcHV).SELECT metadata_json->'runs'->0 FROM event_engine_source_cursor WHERE source_type='conference' AND source_key='collector'), avec les clés usage inchangées ;pending_effects vides ;rm -r /root/lot2-check (#10).Critères d'arrêt propres au lot 2 (en plus de ceux de P-API). Chacun déclenche le retour arrière de P-API avec /root/lot2-check/rollback.env :
ImportError, AttributeError ou NameError dans les journaux ;/collectors/*, /v4/* ou /render-source-screenshot ;blocked_alerted x_context_execution_failed ;Si une autre session a déployé par-dessus, revert de E1 à E15 seulement. Les commits n8n (A2, A3) ne demandent aucun retour arrière live.
| Risque | Parade |
|---|---|
| Une autre session modifie un fichier déplacé (conflit, ou correctif perdu au rebase) | Étape 0.3. Déplacements purs (git mv) dans des commits séparés des modifications. Fenêtre courte entre rebase et push. Ne jamais pousser network.py tant qu'une branche l'attend. |
| On déploie le code d'une autre session poussé après le nôtre | Déploiement de SHA_EE épinglé, avec contrôle des deux plages (préalable 1, P-API). |
| Un importeur oublié (chemin en chaîne, import dans une fonction, script) | Inventaire de la section 4 avec grep sur les deux guillemets ; tests E14 (découpage, résolution de tous les imports et des chaînes) ; contrôle des imports dans le conteneur. |
| Un patch de test oublié laisse partir un vrai appel payant | Tests lancés sans aucune clé dans l'environnement ni fichier .env dans le worktree : un appel réel échoue au lieu de payer. |
| Les octets des preuves changent | Empreintes avant/après (étape 9) ; pyproject.toml intact ; dépendances d'image identiques, sinon arrêt (préalable 5). La conséquence est bornée (étape 9). |
| Le JSON n8n change sans qu'on le voie | Tests à l'octet près du lot 1, passés par render_workflow, git diff --exit-code $BASE_AU, parité complète avec le live (id, positions, settings, versionId == activeVersionId). Aucun déploiement n8n prévu. |
| Dérive des compteurs d'usage ou de coût (plafond de l'enquêteur, alerte de coût conférences) | Tests de caractérisation sur l'ordre des clés et les types ; vérification de propriétés faite pendant la rédaction. |
Le cœur V4 est touché (renommage dans llm_client) |
Suite complète (test_llm_client.py, test_v4_*) ; vérification de la voie X pendant 15 min après le déploiement. E12, qui toucherait score_finalized_events, n'est pas recommandée maintenant. |
| Le redémarrage bloque un post en Normalize ou Enrich | Drain de P-API ; contrôle des blocked_alerted (vérification 2). |
| Changement de texte visible ou lu par un modèle (nom de classe dans l'alerte blogs et dans le message lu par l'enquêteur) | Décision B. Les codes restent identiques ; aucun code ne compare ce texte (blogs/collector.py:703,825 ne testent que sa présence). |
| Le passage à blanc en production coûte de l'argent ou consomme le quota Browser Run | Unlock : 0 $. Conférences : seulement si les deux requêtes SQL le permettent ; sinon, faux en local. |
| Le lot 1 n'est pas encore entièrement livré | E5, E6 et le déploiement attendent sa livraison B et une nuit propre ; les autres étapes de code peuvent avancer. |
A. Où ranger le type d'erreur commun ?
src/services/exceptions.py, sous le nom CollectorError, et non dans web/ comme le prévoyait D2.web/ ne doit dépendre d'aucun collecteur.B. Accepter qu'un libellé change dans trois textes ?
blogs/collector.py:560,832) : le nom plus court laisse voir 10 caractères de plus du message ;investigate.py:433) ;C. Garder la phase « conference_collector » dans le corps d'erreur HTTP, même pour les blogs ?
D. Déplacer network.py dans web/ ?
E. Aligner les unlocks sur les conférences pour un identifiant d'effet mal formé ?
UNKNOWN_EFFECT_ID au lieu d'un rejet silencieux en SQLite, ou d'un probable 503 en PostgreSQL.F. Partager maintenant les messages et l'appel du scorer entre V4 et unlocks (E12) ?
G. Que faire de la clause blog:coin:, qui n'est pas morte ?
H. Ranger coin_icon_url à côté du lecteur de logos ?
I. Pas de déploiement n8n, et donc pas de Tidy Up ni de revue visuelle ?
n8n-workflow-design et de la doctrine avant A2, et parité complète avec le live le jour du push (nœuds avec id et positions, connexions, settings, versionId == activeVersionId).L. Garde de divergence plutôt que gabarit pour les deux nœuds JS identiques ?
Décisions retirées de ce lot.
docs/EVENT_ENGINE_PIPELINE.md :SHA_EE, image de retour arrière et sa limite de validité (livraison 9), « aucun changement n8n, aucune migration », résultats des vérifications, et la mention « collecteur X non redéployé : sa prochaine livraison prendra web/network.py » (pratique posée par le lot 1) ;src/services/web/network.py (via link_preview.py) ;conferences/fetch.py ou network.py ne sont pas réécrites : ce sont des archives datées.memory/project_event_engine_pipeline.md:49 :blog:coin: couvre les articles de l'essai du 08 au 10/11 ;memory/reference_event_engine_api.md:220-240 (arborescence) :services/web/ (fetch, text, network) et services/collectors/ (effects, usage, avec les fichiers du lot 1) ;CollectorError dans la ligne exceptions.py ;twitter_media.py, absent du code (vérifié).CLAUDE.md et AGENTS.md, à l'identique :source_renderer/network.py, après le lot 2 web/network.py » (plan/lot1.md:693). Le texte final, avec le seul chemin web/network.py, est écrit une fois, sur l'état final, à la livraison 15 (plan/00-plan-global.md §3). Ce lot ne touche donc pas CLAUDE.md ni AGENTS.md ; il signale seulement le chemin à jour pour la livraison 15 ;web/, le paquet collectors/ et workflows/collector_common/ (relecture transversale, constat 10) ;verify-agent-coherence (#62).wip/event-engine-new-sources/v2/DEPLOY.md (cité par #15az pour le déploiement et la surveillance) : la liste de fichiers de la ligne 53 est un historique, à ne pas réécrire. Ajouter une note datée : « depuis le lot 2, fetch.py et text.py sont dans src/services/web/ ».AU/workflows/conference_collector/README.md, unlock_collector/README.md, et collector_common/README.md (nouveau).Effort. Environ trois sessions et une courte relecture.
Place dans le calendrier (plan/00-plan-global.md §3, arbitrage G4) : livraison 8.
Dépendances.
collectors/run_lock.py et failure_report.py ; ce lot n'y touche pas. E5, E6 et le déploiement attendent sa livraison B et une nuit propre. Si le lot 1 cite ConferenceCollectorError, E2 le renomme aussi. Le lot 1 garde privés _public_addresses et _fetch_public_resource ; E6 les rend publics.src.services.web.network et sur les noms publics fetch_public_resource, public_addresses et les noms ajoutés par le lot 1. Ses tests remplacent network.public_addresses, pas l'ancien nom privé. Si 4c devait passer avant, c'est E5 et E6 qui s'adapteraient à lui.| Avant le lot 2 | Après le lot 2 |
|---|---|
src/services/conferences/fetch.py (ChromiumBrowser, CollectorHttp, HostThrottle, RemoteBrowser, RenderedPage) |
src/services/web/fetch.py ; la capture de preuve est dans conferences/proof.py::ConferenceBrowser |
src/services/conferences/text.py |
src/services/web/text.py ; ORG_SUFFIXES et core sont dans conferences/links.py |
src/services/source_renderer/network.py, _public_addresses, _fetch_public_resource |
src/services/web/network.py, public_addresses, fetch_public_resource |
ConferenceCollectorError (conferences/models.py) |
CollectorError (services/exceptions.py) ; handler HTTP inchangé, phase = conference_collector |
llm_client._openrouter_response_format, _DIRECT_CHAT_FALLBACKS |
openrouter_response_format, direct_chat_fallback(model), web_search_completion(...) |
compteurs count_usage (logique), unlock_runner._score (compteur), updates._count, Investigation.count |
collectors/usage.py::add_call, add_failed_call ; new_usage() reste dans conferences/llm.py. C'est la place recommandée d'un _cost_alert commun si le lot 3 en fait un (relecture transversale, constat 3.8) |
| effets dans chaque runner | collectors/effects.py (append_effects, list_pending, group_effect_ids, drop_acknowledged) |
unlocks/discovery.THRESHOLD_PCT, WINDOW (365 jours) |
lus depuis unlocks/schedule.py (THRESHOLD_PCT, WINDOW_DAYS) |
updates._cited, investigate._cited |
unlocks/dossier.py::cited_doc_ids |
builders : _api, _if, _switch, _telegram, _processor_node, _code, _own, test_generated_files_are_current |
workflows/collector_common/builder.py (Nodes, edge, render_workflow, collector_connections, collector_settings, validate_collector) ; tests à l'octet près |
9.1 Points transmis au lot 3 (arbitrage G6), dans une formulation reprenable telle quelle.
Investigation.search_web (unlocks/investigate.py:373-397) laisse sortir une erreur OpenRouter (openai.OpenAIError) ou une réponse sans choices (IndexError/TypeError). Rien ne la rattrape (READ_FAILURES, :78 ; except de la découverte, unlocks/discovery.py:312 ; run_unlock_collector, unlock_runner.py:706). Toute la ronde unlock répond alors 500 et la candidate n'est pas marquée FAILED.search_web, attraper openai.OpenAIError et une réponse vide, puis renvoyer FAILED: <Type>: <message> au modèle, comme les autres outils (investigate.py:431-433), après avoir compté l'usage si présent.tests/test_web_search_requests.py::test_investigator_search_lets_a_provider_error_escape (créé en E1).blog_collector au lieu de conference_collector, main.py:116-119). Raison : aucun lecteur ne distingue les phases aujourd'hui (Failed Execs affiche le message) ; changer le corps HTTP n'apporte rien tant que personne ne le lit.event_engine_unlock_candidate.usage) sans lecteur qui en ait besoin.prompt-calibration). À reprendre si une calibration du scorer est ouverte.review/lot2-review.md :
| Id | Constat | Suite | Raison |
|---|---|---|---|
| 1 | Déploiement non épinglé | accepté | SHA_EE noté au push ; plages <déployé>..SHA_EE et SHA_EE..origin/main contrôlées (§5 préalable 1, P-API). |
| 2 | Passage à blanc conférences pas toujours gratuit | accepté | Vérifié : last_discovered_at n'est écrit que si la découverte trouve des entrées (conference_runner.py:243,343). La garde exige aussi max(last_discovered_at) du jour UTC. |
| 3 | Cache Docker, dépendances non épinglées | accepté | Critère d'arrêt avant up ; comparaison pip freeze (P-API, G2). |
| 4 | Voie X non vérifiée, imports dans les fonctions | accepté | 15 min de contrôle de la Queue, de Process One Source, de /v4/* et /render-source-screenshot ; résolution de tous les imports, prototypée (512, aucun non résolu), en test E14 et dans le conteneur. |
| 5 | Comparaison ruff par numéro de ligne | accepté | Comptes par (fichier, code) ; commande testée hors ligne. |
| 6 | Commits sans « go » | accepté | Règle G3 et P-GIT, écrite en §3. |
| 7 | #61 incomplète pour les builders | accepté | Skill et doctrine lus avant A2 ; parité complète. Revérifié : id, positions et settings égaux, versionId == activeVersionId le 18/11. |
| 8 | Appels directs à _public_addresses dans les tests |
accepté | test_source_renderer_network.py:42,116-118 ajoutés à E6. |
| 9 | E10 doit modifier un test E1 | accepté | Ajouté à E10. |
| 10 | grep limité aux guillemets doubles |
accepté | grep -rnE "[\"']…[\"']", vérifié. |
| 11 | Contradiction sur les imports du conteneur X | accepté | Phrase de E5 corrigée. |
| 12 | F3 surestime le gain | accepté | « allège », avec l'ordre de grandeur. |
| 13 | Fixtures locales | accepté | Import documenté, sur le modèle de tests/unlocks/test_updates.py:19-20. |
| 14 | A1 en double avec le lot 1, format recopié | accepté | A1 limité au builder conférences ; render_workflow partagé. |
| 15 | A3 : gabarit pour un faible gain | partiellement accepté | Gabarit écarté pour l'instant. Une garde de divergence (test) le remplace, pour garder la protection contre une correction faite d'un seul côté (décision L). |
| 16 | E12 sur le chemin V4 pour un usage futur | accepté | Recommandation passée à « non pour l'instant » (décision F). |
| 17 | Précisions sur la décision B | accepté | Le modèle lit le texte ; effet de la troncature ; liste des journaux. |
| 18 | Alerte au redémarrage non annoncée | accepté, puis remplacé par C-4 | Vérifié (failed_execs/README.md:23-32) ; l'annonce ne vaut plus qu'avec --keep-blog (voir C-4). |
| 19 | Variables de retour arrière perdues | accepté | /root/lot2-check/rollback.env, gardé jusqu'au lendemain. |
| 20 | Passages à blanc et comparaisons peu probants | accepté | Limites écrites ; coin ajouté la nuit mentionné ; lancement par l'éditeur sans enregistrer (#31). |
| 21 | parity.py sans settings |
accepté | Parité étendue (§3). |
| 22 | Requête E15 décalée par rapport au code | partiellement accepté | Filtre sur le signal dans la sous-requête accepté. Le filtre sur le contenu proposé dans la sous-requête est refusé : il choisirait un ledger plus ancien, alors que le code juge le dernier ledger porteur d'un signal (updates.py:107-111). Le contenu est testé sur le ledger choisi. Date « au plus tard » acceptée. |
| 23a | Étape 0.1 contre table des risques | accepté | Code après la livraison A du lot 1 ; E5, E6 et déploiement après la livraison B. |
| 23b | Docstring en français | accepté | En anglais. |
| 23c | #15bb en double avec #66 | accepté | #15bb retirée. |
| 23d | DEPLOY.md:53 |
partiellement accepté | Note datée ajoutée, sans réécrire la liste historique. |
| 23e | Nettoyage des worktrees | partiellement accepté | Nettoyage ajouté. Mais $WT/golden et $WT/ruff-* sont hors des dossiers de worktree ($WT/engine, $WT/automations) : git worktree remove ne les efface pas. Copie des preuves gardée par prudence. |
| 23f | twitter_media.py absent |
accepté | Retiré de l'arborescence mémoire (§8). |
review/cross-lot-review.md, constats qui touchent ce lot :
| Id | Constat | Suite | Raison |
|---|---|---|---|
| 2 | Drain avant tout redémarrage de l'API | accepté | P-API avec drain ; contrôle blocked_alerted (§5). |
| 3.8 | Destination de _cost_alert |
accepté (passation) | collectors/usage.py indiqué au lot 3 (§9). |
| 4 | deploy.py des conférences |
rejeté pour ce lot | Ce lot ne déploie pas n8n (#63) ; collector_common est signalé comme emplacement possible, la décision revient au lot 3 (G7). |
| 5 | Points orphelins C, K, F1, J, F4 | accepté | §9.1 : F1 planifié au lot 3 avec sa formulation ; C, K et F4 « non planifiés » avec leur raison. |
| 7 | Validité et nom de l'image de retour arrière | accepté | cmc-event-engine-api:rollback-pre-lot2-<AAAAMMJJ>, valable jusqu'à la livraison 9 (ex-D6), ensuite revert. |
| 8 | Dépendance avec 4c | accepté | Dépendance inverse écrite en §9 et décision D. |
| 9 | État de départ commun | accepté | Repris de la livraison 0 (ex-G0) et de procedures.md §0 règle 6 (6 échecs, ruff 171). |
| 10 | Travail en double (A1, #15bb) | accepté | A1 limité aux conférences ; #15bb retirée. |
| 12 | Fenêtres | accepté | Une seule intervention par jour sur la voie X ; fenêtre remplacée par celle de procedures.md (voir F-14 ci-dessous). |
| 14 | Lien avec le collecteur X sous-estimé | accepté | E5 corrigée ; mentions au journal et sur la ligne « X stream collector » (§8). |
Arbitrages : G2 (renvois à P-API, P-GIT, P-N8N et P-COLLECTEUR ; seules les vérifications propres au lot sont gardées), G3 (règle des « go »), G4 (place D5, 4c après) et G6 (§9.1) sont appliqués. G1, G5, G8 et G9 ne touchent pas ce lot.
review/final-pass.md §4 (passe finale du 18/11) :
| Id | Constat | Suite | Raison |
|---|---|---|---|
| F-10 | Test à l'octet près des builders défini trois fois | accepté | Vérifié : le lot 1 crée test_generated_file_is_byte_identical pour les deux builders (plan/lot1.md:465). A1 ne crée plus de test ni de commit : il contrôle ces deux tests sur BASE_AU. A2 les fait passer par render_workflow sans les renommer. Le nom test_generated_file_is_the_builders_exact_output des premières versions de ce plan est abandonné ; le lot 3 doit citer celui du lot 1. |
| F-14 | Fenêtres du matin écrites différemment | accepté | Fenêtres canoniques de plan/procedures.md §0 reprises telles quelles, relues en fin de correction (version de 23:28) : préparation 09:15-10:05, redémarrage 10:06-10:08, vérifications jusqu'à 11:00 UTC. L'ancienne consigne « minute pleine, éviter :00 et :30 » est retirée. |
| F-13 | Renvois périmés | accepté, pour ce qui touche ce lot | Aucun des cinq renvois listés ne vise lot2.md. Ceux du plan ont été relus : séquence D3/D5/D6/D7 remplacée par les livraisons 3, 8, 9 et 10 de plan/00-plan-global.md §3, « G0 » remplacé par la livraison 0, plan/lot1.md:124,426,373-406,426-427,581 remplacés par :129,139,484,271,494-500,425-465,693 (vérifiés), et le renvoi « lot1.md §5.3 » par P-COLLECTEUR. Le texte final de #65 est laissé à la livraison 15. Les identifiants « 4a » à « 4d » de la section 2.1 sont les prémisses de ce plan, pas les sous-lots du lot 4. |
| F-8 | La couche apt échappe au critère d'arrêt (P-API) | accepté pour ce lot | Le préalable 5 du §5 exige CACHED pour toutes les couches placées avant COPY src/. |
| C-4 | Le lot 2 annonce encore une alerte du Blog Collector | accepté | Vérifié dans plan/procedures.md §2 : le drain met aussi le Blog Collector en pause par défaut. Préalable 3 du §5 corrigé : aucune alerte attendue, sauf avec --keep-blog (1 ou 2 alertes, annoncées). |