NB: This page describes work in progress, the quality of generation does not reflect a fully trained model.

We are currently training generative models such as GPT for Finnish. These models attempt to produce text resembling that written by humans, and their generation can be controlled to a degree by a human-written prompt. Consider the following example:

Prompt (written by a human): Olipa kerran, kauan kauan sitten, kaukaisessa kuningaskunnassa pieni sininen prinsessa, joka asui suuressa sinisessä linnassa. Eräänä päivänä

Output (generated by the model): kun prinsessa näki, että linnassa oli hirveän tylsää, hän meni ulos katselemaan, miten kaunista siellä oli. Hän istuutui linnan suurelle suurelle kivelle ja alkoi laulaa kaunista laulua. Prinsessa oli kuullut laulua usein ennenkin, ja hän oli oikein iloinen, kun oli oppinut sen.
— Voi miten laulaa kauniisti, prinsessa tuumi.
— Minä osaan jo laulaa. Minä voisin laulaa linnassa, jos olisin siellä oikein kauan. Mitä minä tekisin siellä, missä minä olisin, siellä olisi niin kaunista ja valoisaa ja hauskaa. Voi minä tahtoisin olla siellä niin kauan, niin että olisi oikein hauskaa olla. Kuule, onko siellä linnassa suurta sinikupuista kelloa, jossa on pieni, sininen kellotaulu. Ja katso, sen yläpuolella on sininen, pieni samettityyny, jonka päällä on pehmoinen tyyny. Minun on niin hyvä olla, minä voin niin hyvin. Täällä on oikein hyvä. Mutta missä kuningas ja kuningatar ja prinsessa ja pieni prinsessa ovat, joiden minä olen luullut olevan täällä. Onkohan siellä myös pieni tyttö, jota minä en vielä ole nähnyt. Se on minusta niin hauskaa, etten koskaan ole luullut voivani olla linnassa niin, ettei siellä ole ketään muita kuin minä. Minkätähden he ovat niin kaukana, vaikka täällä on näin kaunista, tuumi pieni merenneito.“

Olipa vielä eräs, hyvin pieni ja hyvin sininen ja herttainen prinsessa. Kerran kun hän makasi siniselle vuoteellaan ja oli juuri nukkumaisillaan, alkoi hän laulaa, mutta se oli niin surullista. Kaikki linnan salit ja huoneet ja savupiiput ja linnan huonekalut, kaikki linnan ikkunat ja ikkunat helisivät ja helskyivät. Niin, kyllä hän osasi laulaa ja se olikin hänen mielestään kaikkein kauneinta, mitä hän koskaan oli tiennyt. Niinpä hän sulki silmänsä ja makasi aivan hiljaa ja ajatteli, kuinka hauskaa olisi, ellei hän olisi linnassa ja ettei muita olisi kuin hän. Sillä jos hän vain olisi siellä vaikka kuinka kauan ja olisi vielä sinisempi ja kaikkein sinisin, ei hänen koskaan kannattaisi olla surullinen. No, oli miten oli, hänen oli hyvin hyvä ja hänen kävi hyvin, sillä hän ei koskaan olisi surullinen, jollei hän saisi olla suuressa, sinisimmässä linnassa meren keskellä. Siellä olisi kyllä varmaankin aivan kuin keskellä merta, vain merta joka suunnalla. Sinisimmältä linnanpihalta hän kyllä saisi katsella suurta kaupunkia, kaupunkia linnan yläpuolella.

(Live demo coming soon!)

Acknowledgments: The model is being created in collaboration with the National Library of Finland (https://www.kansalliskirjasto.fi). We wish to acknowledge CSC – IT Center for Science, Finland, for generous computational resources.