Petter Reinholdtsen

Det er lenge siden jeg har sett på den norske stavekontrollen, sist jeg skrev om temaet var i 2016, og i mellomtiden har nettstedet no.speling.org forsvunnet, og både git-depotet på Alioth og mailman-tjenesten som hadde epostlistene for oversettelser blitt lagt ned. Men bokmål og nynorsk trenger fortsatt stavekontroll, så etter et par purringer fra en som har lyst til å forbedre stavekontrollen har jeg endelig fått lagt ut ny offentlig kopi av git-depotet. Jeg valgte gitlab foran github.. Siste utgave av stavekontrollen kan hentes ned fra https://gitlab.com/norwegian-language-tools/spell-norwegian. Ingen ny versjon i denne omgang altså, bare et nytt sted å samle forbedringer til den frie norske stavekontrollen. :)

Som vanlig, hvis du bruker Bitcoin og ønsker å vise din støtte til det jeg driver med, setter jeg pris på om du sender Bitcoin-donasjoner til min adresse 15oWEoG9dUPovwmUL9KWAnYRtNJEkP1u1b. Merk, betaling med bitcoin er ikke anonymt. :)

Aftenposten melder i dag om feil i eksamensoppgavene for eksamen i politikk og menneskerettigheter, der teksten i bokmåls og nynorskutgaven ikke var like. Oppgaveteksten er gjengitt i artikkelen, og jeg ble nysgjerring på om den fri oversetterløsningen Apertium ville gjort en bedre jobb enn Utdanningsdirektoratet. Det kan se slik ut.

Her er bokmålsoppgaven fra eksamenen:

Drøft utfordringene knyttet til nasjonalstatenes og andre aktørers rolle og muligheter til å håndtere internasjonale utfordringer, som for eksempel flykningekrisen.

Vedlegge er eksempler på tekster som kan gi relevante perspektiver på temaet:

1. Flykningeregnskapet 2016, UNHCR og IDMC
2. «Grenseløst Europa for fall» A-Magasinet, 26. november 2015

Dette oversetter Apertium slik:

Drøft utfordringane knytte til nasjonalstatane sine og rolla til andre aktørar og høve til å handtera internasjonale utfordringar, som til dømes *flykningekrisen.

Vedleggja er døme på tekster som kan gje relevante perspektiv på temaet:

1. *Flykningeregnskapet 2016, *UNHCR og *IDMC
2. «*Grenseløst Europa for fall» A-Magasinet, 26. november 2015

Ord som ikke ble forstått er markert med stjerne (*), og trenger ekstra språksjekk. Men ingen ord er forsvunnet, slik det var i oppgaven elevene fikk presentert på eksamen. Jeg mistenker dog at "andre aktørers rolle og muligheter til ..." burde vært oversatt til "rolla til andre aktørar og deira høve til ..." eller noe slikt, men det er kanskje flisespikking. Det understreker vel bare at det alltid trengs korrekturlesning etter automatisk oversettelse.

I Norge er det mange som trenger å skrive både bokmål og nynorsk. Eksamensoppgaver, offentlige brev og nyheter er eksempler på tekster der det er krav om skriftspråk. I tillegg til alle skoleoppgavene som elever over det ganske land skal levere inn hvert år. Det mange ikke vet er at selv om de kommersielle alternativene Google Translate og Bing Translator ikke kan bidra med å oversette mellom bokmål og nynorsk, så finnes det et utmerket fri programvarealternativ som kan. Oversetterverktøyet Apertium har støtte for en rekke språkkombinasjoner, og takket være den utrettelige innsatsen til blant annet Kevin Brubeck Unhammer, kan en bruke webtjenesten til å fylle inn en tekst på bokmål eller nynorsk, og få den automatoversatt til det andre skriftspråket. Resultatet er ikke perfekt, men et svært godt utgangspunkt. Av og til er resultatet så bra at det kan benyttes uten endringer. Jeg vet f.eks. at store deler av Joomla ble oversatt til nynorsk ved hjelp Apertium. Høres det ut som noe du kan ha bruk for? Besøk i så fall Apertium.org og fyll inn teksten din i webskjemaet der.

Hvis du trenger maskinell tilgang til den bakenforliggende teknologien kan du enten installere pakken apertium-nno-nob på en Debian-maskin eller bruke web-API-et tilgjengelig fra api.apertium.org. Se API-dokumentasjonen for detaljer om web-API-et. Her kan du se hvordan resultatet blir for denne teksten som ble skrevet på bokmål over maskinoversatt til nynorsk.

I Noreg er det mange som treng å skriva både bokmål og nynorsk. Eksamensoppgåver, offentlege brev og nyhende er døme på tekster der det er krav om skriftspråk. I tillegg til alle skuleoppgåvene som elevar over det ganske land skal levera inn kvart år. Det mange ikkje veit er at sjølv om dei kommersielle alternativa Google *Translate og Bing *Translator ikkje kan bidra med å omsetja mellom bokmål og nynorsk, så finst det eit utmerka fri programvarealternativ som kan. Omsetjarverktøyet *Apertium har støtte for ei rekkje språkkombinasjonar, og takka vera den utrøyttelege innsatsen til blant anna Kevin Brubeck Unhammer, kan ein bruka *webtjenesten til å fylla inn ei tekst på bokmål eller nynorsk, og få den *automatoversatt til det andre skriftspråket. Resultatet er ikkje perfekt, men eit svært godt utgangspunkt. Av og til er resultatet så bra at det kan nyttast utan endringar. Eg veit t.d. at store delar av *Joomla vart omsett til nynorsk ved hjelp *Apertium. Høyrast det ut som noko du kan ha bruk for? Besøk i så fall *Apertium.org og fyll inn teksta di i *webskjemaet der.

Viss du treng *maskinell tilgjenge til den *bakenforliggende teknologien kan du anten installera pakken *apertium-*nno-*nob på ein *Debian-maskin eller bruka *web-*API-eit tilgjengeleg frå *api.*apertium.org. Sjå *API-dokumentasjonen for detaljar om *web-*API-eit. Her kan du sjå korleis resultatet vert for denne teksta som vart skreva på bokmål over *maskinoversatt til nynorsk.

I dag tok jeg mot til meg og pakket sammen en ny versjon av den frie norske stavekontrollen, ca. tre og et halvt år etter forrige gang. Resultatet kan lastes ned fra no.speling.org-prosjeksiden, både som kildekodepakke og som "pack"-fil som kanskje fortsatt kan brukes av OpenOffice.org/LibreOffice. Byggesystemet trenger oppussing, men i denne omgang hadde jeg bare tid til å fikse byggefeil forårsaket av endringer i GNU grep. De øvrige endringene var gjort tidligere i påvente av en ny utgave.

Her er det som er nytt (fra NEWS-fila i kildekodepakken):

Release 2.2 (2016-04-15)

• Rewrite how scripts/speling2words handle tripple consonants, to avoid importing duplicate words from no.speling.org, and getting rid of the existing duplicates in norsk.words.
• Remove duplicate entries with tripple consonants from norsk.words.
• Update frequency for entries in norsk.words based on (ran 'make freq-update').
• Correct nn ispell build, avoid crash in munchlist causing lots of words to fall out of the database.
• Use grep -a to convince grep it is working on text files, to work with newer grep versions.
• Remove some words disputed in the no.speling.org review process:
  • apparent (nb)
  • likke (nb)
  • ugjest, ugjesten, ugjestens (nb)

Den frie norske stavekontrollen består av ca. 1,3 millioner bokmåls- og nynorskord. Det er mange kilder til ordene, f.eks. den norske ordbanken, norske nett-aviser, stavekontrollbrukere og korrekturlesere, og endel feil har sneket seg inn i databasen over ord. For å finne og fikse feilene trengs det korrekturlesing. Her kommer frivillige inn.

Hvis du vil bidra med korrektur av orddatabasen, kan du melde deg frivillig som bokmåls- eller nynorskkorrekturleser og få tilsendt en liten bunke ord på epost hver dag, lese over og sende inn på epost tilbake til korrekturlesing-systemet. Jo flere som sjekker, jo raskere kommer vi igjennom hele databasen. Så langt har vi oppdaget 341 bokmålsord og 50 nynorskord som ikke skal vært med i databasen. Det er nok noen flere. I tillegg har korrekturleserne oppdaget flere ord som manglet, og fått lagt dem inn i stavekontrollen.

Hvis du vil bidra, følg instruksene på prosjektsidene for nye bidragsytere, og ta kontakt med Håvard eller epostlisten i18n-no. Gode norskkunnskaper er en fordel, og vilje til å sjekke ordboka et krav!

I helga fikk jeg endelig pakket sammen en ny versjon av den norske stavekontrollen, og gikk ut versjon 2.1 etter at det var gått fire og et halvt år siden sist. I dag fikk vi sendt ut annonseringen. Her er det vi sendte ut:

Oslo, 2012-10-02

Pressemelding: Ny utgave av norsk stavekontroll med synonymordliste

Mer enn fire år etter at forrige utgave av den frie norske stavekontrollen ble utgitt, er en ny og forbedret versjon klar. Dette er noe utviklerne er veldig glade for.

Den største endringen er at byggesystemet for stavekontrollen er skrevet om til å akseptere ord med bindestrek (f.eks. «e-post»). Litt over 10.000 slike ordformer er lagt til i orddatabasen. I tillegg er det kommet en del nye ord og rettelser rapportert inn av de frivillige som gjennomfører korrektur av orddatabasen i prosjektet. For å få fortgang i dette korrekturarbeidet er det fint med flere frivillige som kan bidra i prosjektet.

- En god og fritt tilgjengelig stavekontroll er en viktig byggestein for å fremme bruken av korrekt norsk språk, sier prosjektdeltager Petter Reinholdtsen.

Takket være samarbeidet med synonymordlisteprosjektet er synonymordlista for bokmål tilgjengelig sammen med ordlista for bokmål og nynorsk. En synonymordliste for nynorsk er også med, men den er på prøvestadiet og meget liten.

Stavekontrollpakken og synonymordlistene brukes i LibreOffice/OpenOffice.org, Koffice, Mozilla Thunderbird, Firefox og en rekke andre programmer, og på både Windows, Mac OS X, Linux og BSD.

Det hele utgis under den frie lisensen GPL og kan fritt lastes ned fra prosjektsidene på no.speling.org. Ferdige pakker for LibreOffice/OpenOffice.org er også tilgjengelige fra samme sted.

Det norske stavekontrollprosjektet er i kontakt med lignende prosjekter for blant annet å forbedre stavekontrollteknologien, å utveksle verktøy for vedlikehold av orddatabasen og å få tilgang til relevante datasett. Et av disse prosjektene er et separat prosjekt ved Sametinget som er i gang med å utvikle samisk stavekontroll for blant annet Microsoft Word og OpenOffice.org.

Et søsterprosjekt for å lage grammatikk-kontroll for LibreOffice/OpenOffice.org er igangsatt, men har ennå ikke kommet langt nok til å brukes. Frivillige til å bidra i dette prosjektet er også svært velkomne.

Kontaktperson

Axel Bojer, prosjektdeltager
E-post: fri_programvare (at) bojer.no
Tlf: +47 954 32 417

Referanser

• Det frie norske stavekontrollprosjektet for bokmål og nynorsk: http://no.speling.org
• Samiske korrekturverktøy: http://divvun.no/
• Ordlistene fra Norsk ordbank: http://www.edd.uio.no/prosjekt/ordbanken/
• Last ned ordlistene: http://alioth.debian.org/frs/?group_id=30577 (PS: no_NO-pack2 for OOo 2.x))

Fra NEWS-fila i kildekodepakken

Release 2.1 (2012-09-30)

• Switch to new version scheme. Make new version 2.1, not 2.0.11. We do not release often enough to justify three digits.
• Switch build rules to build OOo v2 thesaurus files, as the v1 build rules no longer work. This require the libmythes-dev package on Debian.
• Introduce new Makefile variables hyphendir and thesdir to make it easier to control where to install these.
• Change script used to import from no.speling.org, to load new word boundaries if at least two people believed the boundaries was correct.
• Added word boundaries for several words (around 500 words) using the updated script.
• Imported thesarus for bokmål from synonymer.merg.net.
• Rewrote build rules to use = instead of - as combined word marker, thus allowing words like e-post.
• Imported a lot (around 10k words) of new words with dash (-) in them from no.speling.org now that it is handled by the build system.

Etter flere års mislykkede forsøk på å skrive om byggesystemet for den norske stavekontrollen for bokmål og nynorsk til å ikke bruke bindestrek som ordskillemarkør, lyktes jeg endelig første juledag. Bruken av bindestrek som ordskillemarkør har gjort det umulig å få med ord med bindestrek i stavekontrolldatagrunnlaget, slik at ord som e-post og CD-spiller ikke kunne godtas av stavekontrollen. Hadde litt tid til overs å bruke på stavekontrollen, og satte meg ned med to kopier av byggsystemet og en liten testdatafil, og byttet ut - med = på utvalgte steder i byggsystemet og datafilen helt til jeg fikk samme resultat med det gamle og det nye byggsystemet. Dette tror jeg var forsøk 4, der de foregående har feilet uten at jeg klarte å forstå hvorfor. Det sier kanskje litt om kompleksiteten i det originale byggsystemet som Rune Kleveland laget i sin tid.

Etter å ha endret byggsystemet, var neste steg å importere ordene med bindestrek. Vi har en rekke slike i databasene for bokmål og nynorsk for korrektur av datagrunnlaget for stavekontrollen, og etter importen skulle nå 10350 nye ord bli godkjent som korrekt stavede ord av stavekontrollen.