Is het mogelijk om aan de hand van de tekst uit een jaarverslag fraude te detecteren? Marcia Fissette promoveerde aan de Universiteit Twente op het onderwerp text mining en bedacht voor KPMG een methode die verdraaid dicht in de buurt komt. ‘Als je het gebruikt om red flags te vinden, kom je hier een heel eind mee.’
Ruim 1700 jaarstukken uit alle hoeken van de wereld, waarvan er 400 frauduleus. Dat is de enorme berg data die Fissette tot haar beschikking had voor haar onderzoek naar een methode om via text mining fraude op te sporen in jaarverslagen. Het idee is dat als er onwaarheden in de cijfers staan die ook in de toelichting staan. En die tekstuele leugens zouden door een slim computerprogramma op te sporen moeten zijn.
Hoe bent u te werk gegaan?
‘Toen ik eenmaal alle data had verzameld wilde ik me op een klein deel van het jaarverslag focussen, dus eigenlijk alleen de managementdiscussie of selecties die vergelijkbaar zijn. Omdat ik zo veel verslagen had, was het onbegonnen werk om het handmatig te doen. Dus toen ben ik aan de slag gegaan met een model om die informatie automatisch uit jaarverslagen te kunnen halen. Verder heb ik een gebalanceerde dataset proberen te maken, dus voor ieder fraudeverslag in onze dataset hebben we een aantal niet-fraudeverslagen erin zitten die vergelijkbaar zijn. Bijvoorbeeld omdat ze in dezelfde branche actief zijn, vergelijkbaar in omvang zijn en daarnaast moesten de jaarverslagen van hetzelfde jaar zijn.
Vervolgens hebben we een computermodel gevonden en een aantal kenmerken gegeven waarmee hij zelf kan gaan leren hoe hij tekstgedeeltes of woorden kan opsporen die kunnen duiden op fraude. Dat heet machine learning. De computer gaat als volgt te werk: hij telt hoe vaak bepaalde woorden voorkomen waardoor de tekst als het ware wordt platgeslagen en zijn betekenis verliest. Eigenlijk wordt tekst gewoon omgezet naar getallen. Daar komt het op neer. Er zijn trouwens ook nog andere manieren van text mining. Je kunt bijvoorbeeld ook kijken naar grammatica of naar psychologische factoren. Dan moet je denken aan hoeveel positieve woorden er worden gebruikt, dat soort dingen. Mijn hypothese vooraf was dat veel positieve woorden zou duiden op fraude. Maar dat bleek in de praktijk helaas niet zo te zijn. Je kunt dus niet op basis van positief of negatief woordgebruik classificeren. Dat zou overigens ook wel erg eenvoudig zijn. Ik ga ervan uit dat fraude, en zeker in tekst, heel indirect is. Dus fraude zit vaak met name in de cijfers. Als die cijfers naar tekst worden vertaald, wordt dat alleen op een heel subtiele manier zichtbaar. Anders zou je ook als mens een tekst kunnen lezen en denken: hier klopt iets niet. Zo werkt het helaas niet.’
Wat zijn wel indicatoren voor fraude?
‘De methode kan nooit met zekerheid zeggen dat iets fraude is, daarvoor vind ik zelf dat er nog iets te veel fouten worden gemaakt. Voor mij is de uitkomst van de methode ook meer het plaatsen van red flags. Het geeft een reden om nog eens ergens naar te kijken. En ik kan jammer genoeg ook geen lijstje noemen van woorden die een red flag aangeven. Dat is echt wel het nadeel van machine learning, dat eigenlijk in zijn geheel is gebaseerd op de zogeheten black-boxmethode. Dus de computer maakt een rekensom op basis van de gegevens die je hem geeft, maar die som is zo moeilijk dat wij als mensen er niets van begrijpen. Het interessante daarvan is dat een computer dingen kan leren die wij niet kunnen vatten. Maar het nadeel is dus dat hij niet kan aangeven op basis waarvan hij heeft gezegd dat iets niet klopt. Er zijn in mijn methode 10.000 woorden geselecteerd om een keuze te kunnen maken en in welke verhouding en op basis van welke afwegingen de computer iets doet, is simpelweg niet te achterhalen. Ik had eerlijk gezegd ook niet verwacht dat er een lijstje met 20 woorden uit zou komen die bepalen of er sprake is van fraude. Het was wel leuk geweest, en ergens hoop je er wel op, maar uiteindelijk is het ook wel weer logisch dat het niet zo is. Het zou het bovendien ook wel heel gemakkelijk hebben gemaakt om die woorden vervolgens te vermijden in een frauduleus jaarverslag. Met deze black-boxmethode lukt dat dus niet.’
We hoeven dus niet direct de FIOD te bellen als uw fraudedetectie aanslaat, maar hoe accuraat is de methode dan wel?
‘Bij de gevallen die hij kwalificeert als fraude heeft hij in ruim 80 procent van de gevallen gelijk, bij de jaarverslagen die hij als niet-fraude bestempelt is dat 92 procent. Dus je kunt best wel varen op wat hij zegt. Het is ook beter dan ik had verwacht, maar wat mij betreft zou hij nog wel iets beter kunnen worden.’
Wie gaan dit inzetten?
‘De rechten liggen bij KPMG, dat is ooit zo afgesproken. Het is aan hen of ze het implementeren. Ze hebben al veel data-analysepakketten en dit zou daar dan een onderdeel van kunnen worden. Ik werk er zelf niet meer dus ik zal het zelf niet verder ontwikkelen. Misschien dat ik nog wel verder onderzoek naar de methode ga doen, maar dat weet ik nog niet zeker.’
Het inzetten van kunstmatige intelligentie, zoals machine learning en text mining, neemt toe. Zie jij ook dat dit soort zaken steeds vaker wordt ingezet door financiële afdelingen?
‘Ja, heel erg. Toen ik enkele jaren geleden bij KPMG begon stond het nog in de kinderschoenen, maar ik heb wel gezien dat de interesse heel erg aan het toenemen is. Vooral machine learning, kunstmatige intelligentie en text mining. Vooral die laatste. Toen ik ermee begon was ik een van de weinigen, maar dat is inmiddels omgeslagen. Maar daar had ik natuurlijk van begin af aan wel vertrouwen in. Je ziet nog steeds zo veel bedrijven die er gewoon handmatig doorheen gaan. Maar dat is zo tijdrovend en duur, dat ik wel steeds meer verzoeken krijg om daar iets mee te doen.’
Lees ook
De beste jaarverslagen: CFO’s trekken lessen uit prijzenregen
Duurzaamheid maakt opmars in beursgenoteerde jaarverslagen
