Problém
Klient nasadil LLM-based systém pro kategorizaci a směrování zákaznických ticketů před devíti měsíci. Systém fungoval, ale tým hlásil rostoucí počet chybných kategorizací. Nikdo nevěděl proč, protože neexistoval monitoring přesnosti. Zároveň compliance tým zjistil, že osobní data zákazníků vstupují do externího modelu bez podepsané DPA s vendorem. Vedení požádalo o audit před rozhodnutím zda systém rozšířit nebo stáhnout.
The client had deployed an LLM-based system for categorising and routing customer tickets nine months earlier. The system worked, but the team reported a growing number of incorrect categorisations. Nobody knew why because no accuracy monitoring existed. At the same time, the compliance team discovered that customer personal data was entering an external model without a signed DPA with the vendor. Management requested an audit before deciding whether to expand or roll back the system.
Řešení
Provedli jsme strukturovaný audit technického dluhu pokrývající 44 kontrolních bodů v 8 oblastech: data governance, správa modelu, integrace, testování, bezpečnost, monitoring, dokumentace a procesní governance. Audit trval tři dny včetně rozhovorů s týmem. Identifikovali jsme 28 mezer, z nichž 6 bylo kritických. Sestavili jsme prioritizovaný plán nápravy s odhadem náročnosti pro každou položku. Kritické mezery (DPA, monitoring, verzování promptu) byly opraveny do dvou týdnů. Strukturální dluh (testovací pipeline, handover dokumentace) byl řešen v následujícím kvartálu.
We ran a structured technical debt audit covering 44 control points across 8 areas: data governance, model management, integration, testing, security, monitoring, documentation, and process governance. The audit took three days including team interviews. We identified 28 gaps, 6 of which were critical. We assembled a prioritised remediation plan with effort estimates for each item. Critical gaps (DPA, monitoring, prompt versioning) were resolved within two weeks. Structural debt (testing pipeline, handover documentation) was addressed in the following quarter.