Stage-8/Eval-Effizienz: PDF 3x pro Note, 24-MB-JSONL-Linearscan, Embeddings ohne Memoization, Cache-Rotation

[TillQuandel]

Befund

Sammel-Issue Stage-8-/Eval-Effizienz (reine CPU-/Wandzeit- und I/O-Redundanz, keine Qualitätsänderung; Review 2026-07-07):

1. Dieselbe PDF wird bis 3× pro Note geparst: eval_note öffnet die Quell-PDF via fitz in build_chunks, _verification_text, _build_presence_scorer (eval_quality_v4.py:766, 781, 124, 471) und re-encodet ALLE PDF-Chunk-Embeddings pro Note (:161). Bei 10 Notes/Lauf: bis 30 Volltextextraktionen + 10× identisches Chunk-Encoding.
2. Volltext-Normalisierung pro Claim: _verify_evidence normalisiert den gesamten PDF-Text per Regex pro Claim neu (:489 via :535); der Audit-Pfad berechnet _claim_scores_from_judge nochmal für alle Claims (:794).
3. Hash-Guard scannt 24-MB-JSONL linear pro Note: find_cached_eval (eval_quality_v4.py:844-860, Aufrufer orchestrator.py:1284) liest quality_history.jsonl (23,9 MB, Records enthalten volle retrieved_contexts-Chunk-Texte, :565) komplett und parst jede Zeile — bis 10×/Lauf, wächst linear mit Historie.
4. Body-Embeddings 3-4× pro Draft: ER, flag_redundant_siblings, CrossRef-Sibling-Ranking embedden dieselben Bodies unabhängig (orchestrator.py:427, 1188; cross_reference.py:436-437); embeddings.py hat keine Memoization.
5. Stage 8 rein sequenziell + stiller Cap: orchestrator.py:1284 for-Loop (längste serielle Strecke des Laufs) und note_files[:10] — ab der 11. Note wird nie evaluiert, ohne Meldung. Umgekehrt gathern Canonicalizer-Merges ohne Semaphore (orchestrator.py:487-488) am max_concurrent_calls-Limit vorbei.
6. Disk ohne Rotation: .cache/llm 1 579 Dateien (fresh-run-Namespaces werden nie wieder getroffen), .cache/runs 519 Traces, quality_history.jsonl 23,9 MB + 22-MB-Stale-Bak, 0-Byte-DB-Waise generative/.cache/atomic_analytics.db (zwei Cache-Roots: config.py:18 vs. db.py:27-28). Gesamt 55 MB — unkritisch, aber monoton wachsend.
7. (Mit A/B-Vorbehalt) Stage 6 berechnet concept_text_window neu statt das Stage-5-Fenster aus concept_map zu nutzen (orchestrator.py:676) — Semantik minimal anders, nur nach Messung ersetzen.

Fix-Richtung

Memoisierung pro (pdf, Lauf) für Chunks/Embeddings/_normalize_for_evidence; Hash-Guard auf Index-Datei oder die vorhandene SQLite umstellen und quality_history um retrieved_contexts kürzen/rotieren; kleiner embed_body-LRU (key: hash(body)); Stage-8-Parallelität 2-3 + Cap-Meldung; Canonicalizer unter die Semaphore; Alters-/Anzahl-Rotation analog prune_old_records.

Priorität

Nach BA — spürbar bei jedem Lauf, aber nichts davon korrektheitskritisch.

Quelle: Projekt-Review 2026-07-07 (Effizienz-Subagent, alle Punkte am Code verifiziert, Disk real gemessen).

[TillQuandel]

Stand nach PR #181 (+ PR #171):

Erledigt: Punkte 1, 2 (inkl. corpus-Normalisierung), 3 (In-Memory-Index statt Linearscan, Zähler-Beweis 3→1), 4, 5b (Cap-Meldung), 5a-Teil (Canonicalizer-Semaphore), 6-Teil (Anzahl-Rotation .cache/llm + .cache/runs).

Bewusst offen:

• Stage-8-Parallelisierung (Rate-Limit-Abwägung; Locking-Hinweis für den neuen Hash-Guard-Index steht im _cached_eval_index-Docstring)
• Punkt 7 concept_text_window (A/B-pflichtig)
• quality_history-Format/retrieved_contexts-Kürzung + .bak (Datenformat-/Retention-Entscheid)
• 0-Byte-DB-Waise generative/.cache/atomic_analytics.db — zwei Cache-Roots (config.py vs. db.py:27-28 _REPO_ROOT/.cache) ungeklärt

Neue Nebenbefunde aus PR #181 (hierher delegiert):

• eval_quality.py source_coverage/covered_pages (~Z. 576) mischt Anker-Label-Zahlen mit physischer total_pages — vorbestehend, rein diagnostisch
• Audit-Pfad ruft _claim_scores_from_judge zweimal mit identischen Primär-Inputs (Z. ~883 ohne / ~893 mit audit_rows) — für nicht-auditierte Claims bit-identische Doppelarbeit, kein LLM-Call, reine CPU

[TillQuandel]

Stand-Update aus der Merge-Serie 2026-07-12: Der Nebenbefund „Audit-Pfad ruft _claim_scores_from_judge zweimal mit identischen Primär-Inputs" ist erledigt — PR #215 (gemergt): der zweite Durchlauf läuft nur noch über die judge_rows der tatsächlich auditierten Claims, Äquivalenz per eingefrorenem Snapshot-Test belegt.

Die übrigen „bewusst offen"-Punkte aus dem Kommentar oben bleiben unverändert offen (Stage-8-Parallelisierung, Punkt 7 concept_text_window A/B-pflichtig, quality_history-Format/Retention, Cache-Root-Konsolidierung config.py vs. db.py, source_coverage-Diagnostik).