Hoe produceert een neural netwerk tekst of muziek?

In zijn blog post over The Unreasonable Effectiveness of Recurrent Neural Networks laat Andre Karpathy zien hoe het zou kunnen werken. Het komt erop neer dat er een ‘geheugen’ dient te zijn om het verband van woorden te kunnen ‘onthouden’.

Het is al een ‘oud’ artikel uit 2015 dus de code heeft wat aandacht nodig om het (weer) te laten draaien, maar het is een aardige beschrijving van hoe het werkt.