Durant la passada dècada, els esforços de recerca en aprenentatge profund s’han dirigit vers la creació de xarxes més complexes, grans i ràpides. En aquest context, ImageNet es considera una de les primeres xarxes neuronals convolucionals profundes, que va impressionar la comunitat amb el seu excel·lent rendiment en tasques de reconeixement d’imatges. En la seva configuració inicial, aquesta xarxa tenia 60 milions de paràmetres i 650.000 neurones organitzades en cinc capes convolucionals. Per assolir la proesa d’entrenar aquesta arquitectura el 2012, els autors van haver de recórrer a neurones no saturades i també optimitzar l’operador de convolució per a les GPU. Des d’aleshores, les xarxes neuronals convolucionals (CNN) s’han tornat més i més profundes passant de 100 capes a més de mil en pocs anys.
L’ús d’aquestes enormes arquitectures de CNN va plantejar nous reptes en la formació d’aquestes xarxes. Més concretament, cada cop era més difícil garantir-ne la convergència. Això es deu al fet que la distribució de les entrades de cada capa canvia durant l’entrenament a mesura que canvien els paràmetres de les capes anteriors. Això alenteix dràsticament el seu entrenament, ja que requereix taxes d’aprenentatge significativament més baixes i inicialitzacions molt acurades. Això fa que l’entrenament sigui notòriament difícil i s’hagi de recórrer a no-linealitats no saturants. Aquesta és la raó per la qual els autors d’ImageNet van utilitzar aquest tipus de neurona per a entrenar el seu model. Per tant, no es tractava d’una decisió de disseny sinó de garantir la convergència del model. Un altra manera de mitigar aquest problema consisteix en l’ús de ‘batch-normalization’, que permet l’ús de taxes d’aprenentatge molt més altes i tenir menys cura amb la inicialització dels paràmetres.
Per descomptat, la recerca d’arquitectures més profundes no és només un esforç frívol dels científics de dades. La raó d’aquesta recerca és respondre una pregunta fonamental de l’aprenentatge profund: ‘obtenir millors xarxes és tan fàcil com afegir-hi més capes?’
Les ‘Deep Residual Networks (ResNet)’ van tenir com a objectiu respondre aquesta pregunta i, en el procés, es van convertir en una de les arquitectures més influents en l’estat de l’art. En els seus experiments inicials, van descobrir que, per a les arquitectures de xarxa més típiques, la resposta a la pregunta era un clar NO. De fet, en els seus experiments van trobar que una xarxa amb 56 capes funcionava significativament pitjor que una altra només 20. Si la profunditat (és a dir, el nombre de capes) era l’únic que importava per obtenir la millor precisió, una xarxa més gran hauria d’haver funcionat millor que una xarxa poc profunda i definitivament no va ser així. Malgrat sembli contra-intuïtiu, aquesta discrepància s’explicava per la manca de ‘representació’ derivada del problema d’optimitzar una xarxa neuronal tan gran. ResNet va resoldre aquest problema injectant connexions residuals a l’arquitectura de la xarxa de manera que tota l’optimització de la xarxa millorés significativament i els resultats es van seguir (és a dir, arquitectures més profundes van donar millors resultats).
Un altre fet interessant de l’entrenament d’aquestes xarxes neuronals, és que sembla que només una petita part de la xarxa (tant pesos com neurones) és la que contribueix de forma significativa a la predicció. De fet, hi ha estudis que demostren que es pot retallar entre el 95 i el 99% d’una xarxa neuronal (amb criteri) sense gairebé penalitzar la precisió de la xarxa original. Aquest fet es coneix com la ‘hipòtesi del bitllet de loteria’.
Els pesos d’una xarxa neuronal comencen a inicialitzar-se de forma aleatòria. En aquest punt, hi ha moltes subxarxes aleatòries a la xarxa, però sembla que algunes tenen més ‘potencial’ per a la predicció. És a dir, l’optimitzador creu que és matemàticament millor actualitzar aquest conjunt de pesos en detriment d’uns altres. Al final d’aquest procediment, l’optimitzador ha desenvolupat una subxarxa per fer tota la feina mentre les altres parts de la xarxa no serveixen per a gairebé res. Cada subxarxa és un ‘tiquet de loteria’, amb una inicialització aleatòria i les inicialitzacions favorables són els ‘tiquets guanyadors’ identificats per l’optimitzador. Per tant, com més entrades aleatòries hi hagi, més probabilitat tindrem de trobar un bitllet guanyador. És per això que les xarxes més grans en general funcionen millor en línia amb el que s’ha comentat abans sobre l’aprenentatge profund.
Malgrat encara queden moltes preguntes obertes en l’àrea de l’aprenentatge profund, l’última dècada de recerca ha aportat una mica més de llum sobre el funcionament d’aquestes xarxes neuronals, el seu comportament a la vegada que ha obert noves preguntes i hipòtesis que han de permetre avançar l’estat de l’art en aprenentatge automàtic.