Pim Fortuyn reads book years after death: ‘Making a good clone is difficult’ | Tech

Fortuyn klinkt bijna levensecht in het voorproefje voor de nieuwe audioversies van boeken zoals De islamisering van onze cultuur en Pim Fortuyn: de autobiografie. Met kunstmatige intelligentie worden beschikbare geluidsopnames van de politicus gebruikt om hem 22 jaar na zijn dood zijn zelfgeschreven teksten te laten inspreken.

AI kan doorgaans al goed overweg met audio. Er zijn allerlei programma’s beschikbaar waarmee je teksten kan laten oplezen of waarmee je uitgesproken teksten kan vertalen. “Een goede kloon van een bestaande stem maken is lastig”, zegt AI-expert Remy Gieling. Omdat de AI-taalmodellen vaak met Amerikaanse data worden getraind, klinkt de Nederlandse taal vaak niet perfect, of sluipt er bijvoorbeeld een Duits accent in.

Het werkt vaak beter als iemand een tekst alvast voorleest, waar vervolgens met de inzet van AI een andere stem overheen wordt gelegd. “Want AI-modellen zelf hebben geen benul van intonatie”, zegt Gieling. “Wat is belangrijk in een zin? Waar laat je pauzes?”

Om dat voor elkaar te krijgen, is volgens hem veel expertise en tijd nodig. Het is niet onmogelijk, zegt hij. “Met de juiste programma’s en technici kan je in principe audio maken die niet van echt te onderscheiden is.”

Dat erkent ook Richard Otto van XS2Content, het bedrijf dat werkt aan de stem van Pim Fortuyn. Dat model wordt zo getraind dat het grotendeels geautomatiseerd teksten kan voorlezen. “Hij kan de stem van Fortuyn nadoen, ook op het gebied van spreektempo en intonatie.”

Daarvoor moet veel werk worden gedaan. Hoewel er veel geluidsfragmenten van Fortuyn bewaard zijn gebleven, moet de kwaliteit bijvoorbeeld opgepoetst worden om er ruis uit te halen. Als je goede resultaten wil krijgen, kost dat veel tijd, zegt Otto.

En ook daarna is het geen kwestie van teksten invoeren en dan op een knop drukken. “Het vergt veel tijd om het goed te laten klinken”, zegt Otto. “Je wil bijvoorbeeld een bepaalde energie in de stem houden, die vaak wegglijdt met inzet van AI. We gebruiken filters om dat aan te passen. En soms moet de emotie in de uitspraak van een zin worden aangepast.”

Otto says that good agreements have been made with Fortuyn’s heirs about the use of his vote. For example, the AI ​​may only be used to read the books. So it is not the case that Fortuyn’s voice will soon show you the way in a navigation app.

If these agreements are not in place, it will remain a gray area for the time being as to what is and is not allowed with the voice of a deceased person. With living people you can explain that a vote is biometric personal data and is therefore protected under European privacy law. But that law does not apply to deceased persons.

It then becomes more difficult to protect someone’s voice. But if heirs can prove that AI violates a person’s personal bond with the work, the court can intervene in that way. Yet no judge has yet made a decision on this issue, says lawyer Sem Bakker of Backstage Legal. As a result, it remains unclear whether AI can simply make off with the voices of the deceased.

Bakker hopes that this will become clearer soon. “It may well be that there are existing regulations that are being stretched,” he says. But it is even better if people think before they die and have it recorded what should and should not happen to their voice when they are no longer there. “And it is in any case good to make agreements with heirs, even now that it is not yet mandatory.”

Voiceovers association NedVo calls for proper regulations on the use of AI in the voices of deceased persons. This way, voices from professional voice-overs cannot be misused in any way, says founder Jolanda Bayens. “Think of unsolicited imitation of a voice or merging existing voices into a new voice.”