hex/android/benchmark/typing/held-out/accent-nb.tsv
Ryan Vogel afd7da2243
Gate Android typing quality per language on the held-out replay (#2374)
* Gate Android typing quality on held-out sentences per language

Run the existing touch replay against the app classes on the host JVM. Score noisy word-error reduction, changes to correct words, omitted accents and named critical cases against one shared policy so a noisy-WER win cannot mask bad corrections. The legacy APK replay and historical metrics remain available.

Verified on the Studio: all six noisy counts match prior Android results; the full gate returned 1 and English alone returned 0. Compared all 12,000 references, hit keys and coordinates with their existing held-out exports. code-shape reported no hard problems.

* Gate only unambiguous restorations of hold-only letters

Replace the all-accent score with mappings verified against the Android key rows and long-press menus. Use model and validity spellings to report ambiguous restoration and clean-word harm separately, so literal dedicated keys and legitimate competing spellings cannot fail the 85% gate. Add attributed German and Bokmål evaluation sentences and report frequent Bokmål clean changes.

Verified all six gates on the Studio in 26.5s: English, Spanish and French pass; German, Italian and Bokmål fail. Each of the 18 raw, decoded and clean-change counts matched the preceding commit. All 12 layout-appropriate critical cases passed, French alone returned 0, the full run returned 1, and code-shape passed.

* Preserve reference Shift in replay and score realistic accent omissions

Replace always-lowercase input with source casing by Tatoeba ID. For noisy input apply Shift to the original hit at each intended letter tap, using the generator boundaries so omitted spaces and apostrophes cannot shift later capitals. Keep the comparisons case-insensitive. Replace the single s probe with the conventional German ss substitute and skip the 85% check for fewer than 50 unambiguous occurrences.

Verified all 12,000 references and hit strings lowercase to the previous inputs with identical coordinates and attribution. All six ran on the Studio in 40.2s: German restored 0/52 unambiguous ss forms, and Bokmål skipped its two-word accent sample but still changed 74 clean words. All 12 critical cases and code-shape passed.
2026-11-22 09:15:22 -05:00

3 KiB

13014167eirik174Det er circa tre tusen moskéer i Istanbul
25160111sotolfJeg har en idé du burde vurdere
3378946contourMatematikk er som kjærlighet en enkel idé men det kan bli komplisert
42226602al_ex_an_derVi har ikke råd til å gjøre én feil
512576157elithyiaDette er en medisin for diaré
611931276vikvaeringBare én ting hjelper mot det sjokolade
73014165eirik174Det er omtrent tre tusen moskéer i Istanbul
810942670MaykHun har bare én feil
95154107sotolfTom er fortsatt nummer én
1012502330OrangeRom ble ikke bygget på én dag
113518350al_ex_an_derHvorfor skjedde alt på én gang
122465366al_ex_an_derHar du en annen idé
135145606sotolfDe fikk én dollar hver
145145509sotolfJeg vet ikke enda om vi kommer til å dra til muséet
152866907eirik174Jeg begynner å gå tom for idéer
165169484sotolfJeg skulle ønske jeg kunne finne ut hvordan man kan installére denne programvaren
172948467eirik174Jeg støtter ikke hans idéer
188279373gooseSlik slår vi to fluer i én smekk
192996362eirik174En åpen diskusjon med en ateist fant sted nylig i en moské i Kahir
2014048169MaykJeg treffer henne én gang i uka
213542946al_ex_an_derÉn av ti lider av søvnmangel
228543619ThanuirÉn tre og fem er oddetall
233499668al_ex_an_derJeg synes det var en god idé
242919712eirik174Jeg vet ikke om det er en god idé
254991926ImprobablyKvadratroten av én er én
262195000al_ex_an_derDet var hans idé ikke min Ikke gi meg skylden
2712576240elithyiaJeg har bare møtt ham én gang så langt
2810941337MaykMen tenker kun på én ting
292945172eirik174Jeg har fått nok av deg og dine dumme idéer
305145473sotolfHvis det ikke er ødelagt ikke reparér det
313039742al_ex_an_derJeg så meg rundt på muséet
3214048170MaykJeg treffer henne én gang i uken
3310635985EXECDenne idéen er faktisk ganske god
342874259al_ex_an_derÉn ny studie avslører at alt vi tidligere trodde vi visste er feil
3512259565augineToms leilighet er altfor stor for bare én person
3612576182elithyiaLa oss gjøre det med én gang
372996363eirik174De siste år har sekulære idéer florert gjennom regionen
3810942671MaykHan har bare én feil
3911928652vikvaeringHvor mange ganger kyssa han deg Bare én gang
402950170eirik174Jeg har en god idé
413014164eirik174Det er rundt tre tusen moskéer i Istanbul
427195748CrashRubén er faren til tre barn
4311150057RavenGuardianNordlige alléen er det meste forurensede og forsøplede stedet i hele distriktet
445339312pergpauVi møtes om én uke
454779234garborgDu kan ikke avvise alt hun gjør bare på grunn av én feil
462331482Combine988Tom vasker klærne minst én gang i uken
475098597pergpauJeg sitter på kafé og leser aviser
483515644neronBystyret vedtok å bevilge én million kroner til forprosjektering av nytt teater i Bergen
495145827sotolfJeg synes ikke det ville være en så god idé å oversette den setningen
5011806896vebjsandÉn ulykke er én for mye
513002279eirik174Det er bare én måte å tjene penger på gjennom ærlig og hederlig arbeid
525154332sotolfIgnorér hva Tom sa
533542255neronDet skjer bare én gang i livet