Astronomické fórum

Odpovím slovy AI

Článek je aktuálním shrnutím nové studie EBU/BBC o tom, jak si AI asistenti vedou u dotazů na zprávy. Dobře vysvětluje hlavní nálezy, dává konkrétní příklady i širší kontext. Chybí mu ale víc metodických detailů (definice „vážné chyby“, přesné počty na model/jazyk) a pár tvrzení by si zasloužilo jasnější číselné opory přímo v textu.

1. Omezená hloubka analýzy: Článek uvádí příklady chyb, ale méně se věnuje technickým důvodům, proč AI „halucinují“ (např. podrobnosti o tréninkových datech nebo algoritmech). Technicky zaměřený čtenář by mohl postrádat hlubší vysvětlení.

2. Nevyváženost hodnocení nástrojů: Zmiňuje zlepšení u Google Gemini a Microsoft Copilot, ale neuvádí podrobnosti, v čem to konkrétně spočívá, zatímco ChatGPT a Perplexity jsou kritizovány bez náznaku jejich silných stránek.

3. Absence reakcí technologických firem: Článek by mohl být silnější, kdyby zahrnoval vyjádření od společností jako OpenAI, Google nebo Perplexity k výsledkům výzkumu, aby čtenáři viděli jejich pohled.

4. Krátké zmínky o dopadech: I když článek zmiňuje ohrožení důvěry veřejnosti, mohl by více rozpracovat, jaké konkrétní důsledky mohou chybné informace od AI mít (např. v politických nebo zdravotních kontextech).

Celkové hodnocení:
Článek je dobře napsaný a relevantní, zejména pro čtenáře, kteří se zajímají o dopady AI na zpravodajství a společnost. Přináší důležité varování před slepou důvěrou v AI asistenty a zdůrazňuje potřebu kritického myšlení při používání těchto technologií. Přesto by měl být obohacen o techničtější analýzu nebo reakce dotčených firem, aby poskytl vyváženější pohled a měl by mít hlubší metrologii založenou na vědeckých postupech.

Aha, takže pokud to dobře chápu, reagoval jste - a ai nechal "analyzovat" - pouze ten článek, nikoliv výzkum jako takový, o němž článek pouze informuje. Teď už to dává smysl.

Samotný report má 50 stránek a nečetl jsem ho, protože mi to smysl nedává, ale AI jej analyzovala s výše uvedenými závěry. AI používám přesně na to k čemu je určený a v čem je dobrý. Řezníka se také nechodím ptát, jak opravím auto nebo naprogramuju aplikaci .

Pak by bylo dobré k samotným výsledkům přidat i druhou část, tu která se zabývá podrobně právě metodikou. Nicméně nechat si od ai shrnout výzkum, který poukazuje právě na nespolehlivost ai shrnutí a výsledek prezentovat jako důkaz toho, že výzkum je irelevantní mi přijde přinejmenším zvláštní.

Je to pohled AI na novinařinu, to mi přijde taky zajímavé. Já nejsem ani novinář ani vědecký pracovník v oblasti AI a tak mi jiné hodnocení ani nepřísluší.

Neprovozuje někdo modely lokálně? Používám `text-generation-webui`, kartu Radeon RX 9060 XT, modely Meta-Llama-3.1-8B-Instruct-Q8_0.gguf, Qwen2.5-14B-Instruct-Q4_K_M.gguf a další. Na domácí hraní je to pecka. Webové rozhraní je lepší než to, co poskytuje OpenAI a Gemini, fine-tuning zadarmo, poměrně velká kontextová okna. Skvělé je, že to má OpenAI rozhraní, takže to, co jsem bastlil pro CzSkY, teď žhaví kartu na 90 °C. Zkoušel jsem překlady astronomických textů, výsledek je podobný jako s GPT-4, bude to chtít fine-tuning, prompt už jsem dost protáhl... Za 9500 Kč, nebo kolik ta karta stojí, je to super hračka, doporučuju.

Hračka je to pěkná i bez grafické karty. Pokud člověk nemá procesor o výkonu kafemlejnku, tak i bez akcelerace na grafice se to dá provozovat. Nevím jak teď, ale když jsem to před časem zkoumal, tak dostupné softwary o ničem jiném než NVidia CUDA nechtěly slyšet. Takže můj obstarožní Radeon se 4GB VRAM mi moc platný nebyl. Na druhou stranu dvanáctijádrový Ryzen taky ledacos zvládne. Trpěliví mohou zkusit i 70B modely, pokud jim nevadí inference tempem půl tokenu za sekundu. Pár modelů jsem zkoušel přes WebUI a Ollamu, velmi dobrý dojem na mně dělala Qwen3:30B-A3b a další odvozeniny z Qwen2.5 a Qwen3. Zkoušel jsem hlavně různé faktické dotazy v angličtině, ne překlady.

Kupodivu ROCm není problém pod llama.cpp rozeběhnout, aa ArchLinuxu jsem si to teda přeložil ručně. Procesor mám taky 12 jádro, s kartou je to řádově rychlejší, Qwen2.5-14B-Instruct-Q4_K_M.gguf nebo Meta-Llama-3.1-8B-Instruct-Q8_0.gguf jedou 30token/s.

Já budu mít doufejme do konce ledna u zákazníka “na hraní” 128core server s 8x NVidia H200… jsem zvědavý, co tam všechno rozjedeme.

Já jsme si nedávno hrál na své grafice (RTX 3060 12GB) v LM studiu. Použil jsem Llama 3 8B Instruct a k tomu jsem přidal data v RAG. Výstup mě ale moc nepřesvědčil. Bohužel jsem tomu asi nevěnoval moc času, snad se k tomu v blízké budoucnosti vrátím a dotáhnu do použitelné podoby.

Já jsem jsem se překladama astrotextů z angličtiny dopracoval k gemma-3-12b, na 16G kartě s vytuněným promptem je to na tu velikost dost dobrý, rychlost kolem 25t/s. Pokud by někdo chtěl experimentovat se CPU, tak je tu poměrně nový MoE model od OpenAI : https://huggingface.co/openai/gpt-oss-20b . (na testy jsem postahoval modely, gpt5.1 vygenerovalo sady otázek + python script , který krmí llama_cli a vystup se posia do gpt5.1 na vyhodnoceni)