Medicína
Jak naučit jazykový model lhát
S rostoucí popularitou vyhledávání informací pomocí jazykových modelů roste i zájem dezinformátorů jejich odpovědi ovlivňovat. V praxi už se objevují případy, kdy se koordinované kampaně snaží zaplavit internet zavádějícím obsahem tak, aby jej AI nástroje následně vyhledávaly, citovaly a reprodukovaly. Tento fenomén se označuje jako LLM grooming. Největší riziko představuje u témat, ke kterým ve veřejném prostoru chybí dostatek kvalitních a ověřených zdrojů. Dezinformátoři už nebojují o pozornost lidí jen na sociálních sítích, v řetězových e-mailech nebo na dezinformačních webech. Jejich koordinované útoky se již nějakou dobu snaží ovlivňovat i odpovědi jazykových modelů.
„Tento fenomén je označován jako LLM grooming. Jedná se v podstatě o systematické zahlcování internetu zavádějícím nebo nepravdivým obsahem tak, aby jej AI nástroje v budoucnu vyhledávaly, citovaly a reprodukovaly ve svých odpovědích,“ popisuje generální ředitel divize datových analýz česko-americké společnosti Newsmatics.
Aktuálnost tohoto rizika ukazují i výzkumy z poslední doby. Akademická práce publikovaná v Harvard Misinformation Review se zaměřila na to, zda a v jaké míře mohou jazykové modely přebírat narativy šířené kremelskými a proruskými dezinformačními zdroji, včetně sítě Pravda, která od roku 2022 publikovala velké množství zavádějících a nepravdivých tvrzení zejména v souvislosti s válkou na Ukrajině.
Výzkumníci ve vlastním testování zjistili, že chatboty opakovaly nepravdivá tvrzení v 5 procentech odpovědí a v 8 procentech případů odkazovaly na kremelské dezinformační weby. Některé dřívější analýzy přitom docházely i k vyšším hodnotám. Samotná přítomnost těchto zdrojů v odpovědích však podle autorů studie nemusí být automaticky důkazem úspěšného LLM groomingu. Spíše ukazuje, že jazykové modely mohou být vůči koordinovanému zaplavování informačního prostoru zranitelné, zvlášť pokud uživatelé kladou dotazy způsobem, který dezinformační rámce předpokládá nebo posiluje.
Podle jednoho ze závěrů studie byly konverzační modely nejnáchylnější k přebírání dezinformací v situacích, kdy u daného tématu narážely na takzvané informační vakuum – tedy nedostatek kvalitních, ověřených a snadno dohledatelných zdrojů.
Riziko přitom nesouvisí jen s masovým šířením geopolitické propagandy. Podobný problém může dopadnout i na firmy, veřejné instituce nebo politiky. S danou situací se v praxi setkávají například ve Spojených státech. Souvisí to nejen s tím, že se tam AI nástroje už výrazněji etablovaly jako běžný zdroj informací, ale také s existencí informačních pouští v řadě regionů. Ubývá místních médií, přibývá úzce zaměřených politických a reputačních sporů a o mnoha lokálních aktérech nebo kauzách neexistuje dostatek kvalitních, ověřitelných informací.
Míra využívání jazykových modelů bude v příštích letech celosvětově i dále narůstat. Podle letošního průzkumu agentury STEM/MARK je již dnes k hledání informací alespoň občas používá 79 procent Čechů. Celkově platí, že kvalita informací poskytovaných jazykovými modely odpovídá kvalitě dostupných zdrojových informací. Pro instituce, politiky i firmy to znamená, že budou muset stále aktivněji pracovat s tím, jaké informace jsou o nich ve veřejném prostoru dostupné. Klíčová je přitom kombinace vlastních kanálů, jako jsou weby, profily nebo odborný obsah, a nezávislých zmínek v důvěryhodných médiích či dalších relevantních zdrojích.
Pro běžné uživatele z toho zároveň plyne potřeba přistupovat k odpovědím AI nástrojů kriticky. Jazykový model může být užitečný pro rychlou orientaci v tématu, neměl by ale nahrazovat ověření v původních zdrojích, zejména u kontroverzních, politických, zdravotních, finančních nebo reputačně citlivých informací.
Newsmatics je nezávislá soukromá česko-americká „news-tech“ společnost se sídlem ve Washingtonu, D.C., která vyvíjí technologické platformy a služby. Věnuje se monitoringu médií, zakázkovým analýzám a nástrojům pro pokročilou mediální inteligenci. Dlouhodobě akcentuje snahu vnést do zpravodajského obsahu větší přehlednost a transparentnost. Dle TZ