Model nehledá, model doplňuje
Jazykový model nemá databázi, ze které by vybíral. Má odhad, jaké slovo nejpravděpodobněji následuje po předchozích. Když se ho zeptáte na zákon, nejde se podívat do sbírky – pokračuje v textu tak, jak se takový text obvykle píše.
Většinou to dopadne dobře, protože pravděpodobné pokračování bývá i pravdivé. Problém nastane tehdy, když model správnou odpověď nezná. Nezastaví se. Doplní něco, co zní jako správná odpověď.
Proč to v legislativě bolí nejvíc
Právní text má pevnou, opakující se formu. Čísla paragrafů, odstavců, odkazy na jiné předpisy, ustálená slovní spojení. Přesně tuhle formu se model naučí dokonale – a umí ji vyrobit i tam, kde za ní žádný obsah není.
Výsledek je odpověď, která vypadá jako citát ze sbírky zákonů, číslování sedí, stylistika sedí, a přitom je celá vymyšlená. U dotazu na vaření je nepřesnost vidět. U paragrafu ne.
Tři podoby téže chyby
- Staré znění. Model se učil z textů, mezi kterými jsou i roky staré. Zrušené ustanovení v nich vypadá stejně platně jako současné.
- Cizí jurisdikce. Českých a slovenských textů je na internetu promíchané množství. Odpověď pak platí – jen v jiné zemi.
- Ustanovení, které neexistuje. Nejhorší případ, protože se nedá odhalit ničím jiným než ověřením ve zdroji.
Co s tím děláme
Ask Laika nestaví odpověď z toho, co si model pamatuje. Pracuje výhradně se zveřejněnými dokumenty a s aktuálním zněním předpisů a u každé odpovědi připojí citaci – konkrétní místo, které si otevřete a přečtete.
Druhá vrstva je oddělení zdrojů. Česká stavební legislativa, slovenská nová úprava, původní zákon z roku 1976 i technické standardy mají vlastní asistenty. Nejsou slité do jednoho modelu, kde by se znění mohla promíchat a citace by ztratila výpovědní hodnotu.
Třetí vrstva je člověk. Změny v předpisech sledují lidé z oboru, ne automatický sběr, a oni rozhodují o tom, co se do asistenta dostane.
Proč ani my neslibujeme neomylnost
Bylo by pohodlné napsat, že náš asistent se nemýlí. Nenapíšeme to – a kdyby to tvrdil kdokoli jiný, je to důvod k opatrnosti.
Rozdíl není v tom, že by jeden nástroj byl neomylný a druhý ne. Je v tom, jestli odpověď umíte za pár sekund ověřit, nebo ji musíte vzít za slovo. U podkladu, pod který se podepisujete, je to celý rozdíl.