Siguranță și factualitate
Halucinații HHEM (Vectara)
Publicat de Vectara. Pagina sursei ↗ · Datele pe care le citim ↗
Vectara sells a hallucination detector and runs the board with its own HHEM model as judge.
Fapte
| Fapt | Valoare | De unde provine |
|---|---|---|
| Cine rulează evaluarea | un furnizor de modele | curatoriat de aiqbench, verificat la 2026-10-09 |
| Expunerea setului de test | public | curatoriat de aiqbench, verificat la 2026-10-09 |
| Licența datelor | Apache-2.0 | înregistrarea de atribuire a clasamentului |
| Cel mai nou rezultat publicat | acum 3 zile | rândurile ingerate |
| Ultima preluare de către aiqbench | acum 9 ore · la fiecare 12 h | jurnalul de sincronizare |
| Modele pe această axă | 109 | rândurile ingerate |
| Rânduri cu interval publicat | niciunul publicat | rândurile ingerate |
| Spațiu rămas în vârf | Cel mai bun 98.2%, cu 1.8% sub plafon; primele 10 în interval de 3.3%. | calculat din rândurile ingerate |
| Axe pe care le urmează îndeaproape | Nicio măsurătoare încă: 7 perechi sunt sub pragul de modele comune. | ρ Spearman pe modelele comune (vezi Grupuri) |
Unde apare
Ponderată în șabloanele predefinite: Toate sursele ×1.
Vezi această axă singură în consolă →Atribuire
Source: Vectara Hallucination Leaderboard (vectara/hallucination-leaderboard) — https://github.com/vectara/hallucination-leaderboard. Licensed under Apache 2.0. Modified by aiqbench: we parse the ranking table embedded in the repo README between the <!-- LEADERBOARD_START --> and <!-- LEADERBOARD_END --> markers, and store factual-consistency-rate (100 − hallucination rate) as the primary score so "higher is better" holds across every board in the app. The raw hallucination rate, answer rate, and average summary length are preserved on each row in metadata.