{"id":5826,"date":"2022-04-04T08:12:36","date_gmt":"2022-04-04T06:12:36","guid":{"rendered":"https:\/\/web.cidai.eu\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\/"},"modified":"2025-12-01T17:51:14","modified_gmt":"2025-12-01T16:51:14","slug":"eficiencia-y-entrenamiento-de-redes-neuronales-profundas","status":"publish","type":"post","link":"https:\/\/cidai.eu\/es\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\/","title":{"rendered":"Eficiencia y entrenamiento de redes neuronales profundas"},"content":{"rendered":"<p>Durante la pasada d\u00e9cada, los esfuerzos de investigaci\u00f3n en aprendizaje profundo se han dirigido hacia la <strong>creaci\u00f3n de redes m\u00e1s complejas, grandes y r\u00e1pidas<\/strong>. En este contexto, <strong>ImageNet<\/strong> se considera una de las primeras redes neuronales convolucionales profundas, que impresion\u00f3 a la comunidad con su excelente rendimiento en tareas de reconocimiento de im\u00e1genes. En su configuraci\u00f3n inicial, esta red ten\u00eda <strong>60 millones de par\u00e1metros y 650.000 neuronas organizadas en cinco capas convolucionales<\/strong>. Para lograr la proeza de entrenar esta arquitectura en 2012, los autores tuvieron que recurrir a neuronas no saturadas y tambi\u00e9n optimizar al operador de convoluci\u00f3n para las GPU. Desde entonces, las redes neuronales convolucionales (CNN) se han vuelto m\u00e1s y m\u00e1s profundas pasando de 100 capas a m\u00e1s de mil en pocos a\u00f1os.<\/p>\n<p>El uso de estas enormes arquitecturas de CNN plante\u00f3 nuevos retos en la formaci\u00f3n de estas redes. M\u00e1s concretamente, cada vez era m\u00e1s dif\u00edcil garantizar su convergencia. Esto se debe a que la distribuci\u00f3n de las entradas de cada capa cambia durante el entrenamiento a medida que cambian los par\u00e1metros de las capas anteriores. Esto ralentiza dr\u00e1sticamente su entrenamiento, puesto que requiere tasas de aprendizaje significativamente m\u00e1s bajas e inicializaciones muy cuidadosas. Esto hace que el entrenamiento sea notoriamente dif\u00edcil y deba recurrirse a no-linealidades no saturantes. \u00c9sta es la raz\u00f3n por la que los autores de ImageNet utilizaron este tipo de neurona para entrenar su modelo. Por tanto, no se trataba de una decisi\u00f3n de dise\u00f1o sino de garantizar la convergencia del modelo. Otra forma de mitigar este problema consiste en el uso de <strong><em>&#8216;batch-normalization&#8217;<\/em>, que permite el uso de tasas de aprendizaje mucho m\u00e1s altas y tener menos cuidado con la inicializaci\u00f3n de los par\u00e1metros.<\/strong><\/p>\n<p>Por supuesto, la b\u00fasqueda de arquitecturas m\u00e1s profundas no es s\u00f3lo un esfuerzo fr\u00edvolo de los cient\u00edficos de datos. La raz\u00f3n de esta investigaci\u00f3n es responder a una pregunta fundamental del aprendizaje profundo: <em>&#8216;obtener mejores redes es tan f\u00e1cil como a\u00f1adir m\u00e1s capas?&#8217;<\/em> Las <strong><em>&#8216;Deep Residual Networks (ResNet)&#8217;<\/em><\/strong> tuvieron como objetivo responder a esta pregunta y, en el proceso, se convirtieron en una de las arquitecturas m\u00e1s influyentes en el estado del arte. En sus experimentos iniciales, descubrieron que para las arquitecturas de red m\u00e1s t\u00edpicas, la respuesta a la pregunta era un claro NO. De hecho, en sus experimentos encontraron que una red con 56 capas funcionaba significativamente peor que otra s\u00f3lo 20. Si la profundidad (es decir, el n\u00famero de capas) era lo \u00fanico que importaba para obtener la mejor precisi\u00f3n, una mayor red deber\u00eda haber funcionado mejor que una red poco profunda y definitivamente no fue as\u00ed. A pesar de que parezca contra-intuitivo, esta discrepancia se explicaba por la falta de <em>&#8216;representaci\u00f3n&#8217;<\/em> derivada del problema de optimizar una red neuronal tan grande. ResNet resolvi\u00f3 este problema inyectando conexiones residuales a la arquitectura de la red de forma que toda la optimizaci\u00f3n de la red mejorara significativamente y los resultados se siguieron (es decir, arquitecturas m\u00e1s profundas dieron mejores resultados).<\/p>\n<p>Otro hecho interesante del entrenamiento de estas redes neuronales, es que parece que s\u00f3lo una peque\u00f1a parte de la red (tanto pesas como neuronas) es la que contribuye de forma significativa a la predicci\u00f3n. De hecho, hay estudios que demuestran que se puede recortar entre el 95 y el 99% de una red neuronal (con criterio) sin apenas penalizar la precisi\u00f3n de la red original. Este hecho se conoce como la <em>&#8216;hip\u00f3tesis del billete de loter\u00eda&#8217;<\/em>.<\/p>\n<p>Los pesos de una red neuronal comienzan a inicializarse de forma aleatoria. En este punto, existen muchas subredes aleatorias en la red, pero parece que algunas tienen m\u00e1s &#8216;potencial&#8217; para la predicci\u00f3n. Es decir, el optimizador cree que es matem\u00e1ticamente mejor actualizar ese conjunto de pesos en detrimento de otros. Al final de este procedimiento, el optimizador ha desarrollado una subred para realizar todo el trabajo mientras las dem\u00e1s partes de la red no sirven para casi nada. Cada subred es un &#8216;ticket de loter\u00eda&#8217;, con una inicializaci\u00f3n aleatoria y las inicializaciones favorables son los &#8216;tickets ganadores&#8217; identificados por el optimizador. Por tanto, cuanto m\u00e1s entradas aleatorias haya, m\u00e1s probabilidad tendremos de encontrar un billete ganador. Es por ello que las redes m\u00e1s grandes por lo general funcionan mejor en l\u00ednea con lo que se ha comentado antes sobre el aprendizaje profundo.<\/p>\n<p>Aunque todav\u00eda quedan muchas preguntas abiertas en el \u00e1rea del aprendizaje profundo, la \u00faltima d\u00e9cada de investigaci\u00f3n ha aportado algo m\u00e1s de luz sobre el funcionamiento de estas redes neuronales, su comportamiento a la vez que ha abierto nuevas preguntas e hip\u00f3tesis que deben permitir avanzar el estado del arte en aprendizaje autom\u00e1tico.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Durante la pasada d\u00e9cada, los esfuerzos de investigaci\u00f3n en aprendizaje profundo se han dirigido hacia la creaci\u00f3n de redes m\u00e1s complejas, grandes y r\u00e1pidas. En [&#8230;]<\/p>\n","protected":false},"author":3,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[75],"tags":[],"class_list":["post-5826","post","type-post","status-publish","format-standard","hentry","category-blog-es"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v28.4 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Eficiencia y entrenamiento de redes neuronales profundas - CIDAI<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/cidai.eu\/es\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\/\" \/>\n<meta property=\"og:locale\" content=\"es_ES\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Eficiencia y entrenamiento de redes neuronales profundas - CIDAI\" \/>\n<meta property=\"og:description\" content=\"Durante la pasada d\u00e9cada, los esfuerzos de investigaci\u00f3n en aprendizaje profundo se han dirigido hacia la creaci\u00f3n de redes m\u00e1s complejas, grandes y r\u00e1pidas. En [...]\" \/>\n<meta property=\"og:url\" content=\"https:\/\/cidai.eu\/es\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\/\" \/>\n<meta property=\"og:site_name\" content=\"CIDAI\" \/>\n<meta property=\"article:published_time\" content=\"2022-04-04T06:12:36+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2025-12-01T16:51:14+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/cidai.eu\/wp-content\/uploads\/2025\/02\/CIDAI-header.png\" \/>\n\t<meta property=\"og:image:width\" content=\"385\" \/>\n\t<meta property=\"og:image:height\" content=\"78\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Luc\u00eda Arevalo\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@cidai_eu\" \/>\n<meta name=\"twitter:site\" content=\"@cidai_eu\" \/>\n<meta name=\"twitter:label1\" content=\"Escrito por\" \/>\n\t<meta name=\"twitter:data1\" content=\"Luc\u00eda Arevalo\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tiempo de lectura\" \/>\n\t<meta name=\"twitter:data2\" content=\"4 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/cidai.eu\\\/es\\\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/cidai.eu\\\/es\\\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\\\/\"},\"author\":{\"name\":\"Luc\u00eda Arevalo\",\"@id\":\"https:\\\/\\\/cidai.eu\\\/#\\\/schema\\\/person\\\/cc9e051bdfb310f1cf7fad956c5d379f\"},\"headline\":\"Eficiencia y entrenamiento de redes neuronales profundas\",\"datePublished\":\"2022-04-04T06:12:36+00:00\",\"dateModified\":\"2025-12-01T16:51:14+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/cidai.eu\\\/es\\\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\\\/\"},\"wordCount\":837,\"publisher\":{\"@id\":\"https:\\\/\\\/cidai.eu\\\/#organization\"},\"articleSection\":[\"Blog\"],\"inLanguage\":\"es\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/cidai.eu\\\/es\\\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\\\/\",\"url\":\"https:\\\/\\\/cidai.eu\\\/es\\\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\\\/\",\"name\":\"Eficiencia y entrenamiento de redes neuronales profundas - CIDAI\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/cidai.eu\\\/#website\"},\"datePublished\":\"2022-04-04T06:12:36+00:00\",\"dateModified\":\"2025-12-01T16:51:14+00:00\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/cidai.eu\\\/es\\\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\\\/#breadcrumb\"},\"inLanguage\":\"es\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/cidai.eu\\\/es\\\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\\\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/cidai.eu\\\/es\\\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Inicio\",\"item\":\"https:\\\/\\\/cidai.eu\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Eficiencia y entrenamiento de redes neuronales profundas\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/cidai.eu\\\/#website\",\"url\":\"https:\\\/\\\/cidai.eu\\\/\",\"name\":\"CIDAI\",\"description\":\"el Centre d\u2019Innovaci\u00f3 en IA i Tecnologies de Dades\",\"publisher\":{\"@id\":\"https:\\\/\\\/cidai.eu\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/cidai.eu\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"es\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/cidai.eu\\\/#organization\",\"name\":\"CIDAI\",\"url\":\"https:\\\/\\\/cidai.eu\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"es\",\"@id\":\"https:\\\/\\\/cidai.eu\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/cidai.eu\\\/wp-content\\\/uploads\\\/2025\\\/02\\\/CIDAI-header.png\",\"contentUrl\":\"https:\\\/\\\/cidai.eu\\\/wp-content\\\/uploads\\\/2025\\\/02\\\/CIDAI-header.png\",\"width\":385,\"height\":78,\"caption\":\"CIDAI\"},\"image\":{\"@id\":\"https:\\\/\\\/cidai.eu\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/x.com\\\/cidai_eu\",\"https:\\\/\\\/www.linkedin.com\\\/company\\\/cidai\\\/posts\\\/?feedView=all\"]},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/cidai.eu\\\/#\\\/schema\\\/person\\\/cc9e051bdfb310f1cf7fad956c5d379f\",\"name\":\"Luc\u00eda Arevalo\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"es\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/6a90209dd4f25228e1781351558cd6349cfc877f702ab3a33e6437fbba0dc7b6?s=96&d=mm&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/6a90209dd4f25228e1781351558cd6349cfc877f702ab3a33e6437fbba0dc7b6?s=96&d=mm&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/6a90209dd4f25228e1781351558cd6349cfc877f702ab3a33e6437fbba0dc7b6?s=96&d=mm&r=g\",\"caption\":\"Luc\u00eda Arevalo\"}}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Eficiencia y entrenamiento de redes neuronales profundas - CIDAI","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/cidai.eu\/es\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\/","og_locale":"es_ES","og_type":"article","og_title":"Eficiencia y entrenamiento de redes neuronales profundas - CIDAI","og_description":"Durante la pasada d\u00e9cada, los esfuerzos de investigaci\u00f3n en aprendizaje profundo se han dirigido hacia la creaci\u00f3n de redes m\u00e1s complejas, grandes y r\u00e1pidas. En [...]","og_url":"https:\/\/cidai.eu\/es\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\/","og_site_name":"CIDAI","article_published_time":"2022-04-04T06:12:36+00:00","article_modified_time":"2025-12-01T16:51:14+00:00","og_image":[{"width":385,"height":78,"url":"https:\/\/cidai.eu\/wp-content\/uploads\/2025\/02\/CIDAI-header.png","type":"image\/png"}],"author":"Luc\u00eda Arevalo","twitter_card":"summary_large_image","twitter_creator":"@cidai_eu","twitter_site":"@cidai_eu","twitter_misc":{"Escrito por":"Luc\u00eda Arevalo","Tiempo de lectura":"4 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/cidai.eu\/es\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\/#article","isPartOf":{"@id":"https:\/\/cidai.eu\/es\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\/"},"author":{"name":"Luc\u00eda Arevalo","@id":"https:\/\/cidai.eu\/#\/schema\/person\/cc9e051bdfb310f1cf7fad956c5d379f"},"headline":"Eficiencia y entrenamiento de redes neuronales profundas","datePublished":"2022-04-04T06:12:36+00:00","dateModified":"2025-12-01T16:51:14+00:00","mainEntityOfPage":{"@id":"https:\/\/cidai.eu\/es\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\/"},"wordCount":837,"publisher":{"@id":"https:\/\/cidai.eu\/#organization"},"articleSection":["Blog"],"inLanguage":"es"},{"@type":"WebPage","@id":"https:\/\/cidai.eu\/es\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\/","url":"https:\/\/cidai.eu\/es\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\/","name":"Eficiencia y entrenamiento de redes neuronales profundas - CIDAI","isPartOf":{"@id":"https:\/\/cidai.eu\/#website"},"datePublished":"2022-04-04T06:12:36+00:00","dateModified":"2025-12-01T16:51:14+00:00","breadcrumb":{"@id":"https:\/\/cidai.eu\/es\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\/#breadcrumb"},"inLanguage":"es","potentialAction":[{"@type":"ReadAction","target":["https:\/\/cidai.eu\/es\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/cidai.eu\/es\/eficiencia-y-entrenamiento-de-redes-neuronales-profundas\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Inicio","item":"https:\/\/cidai.eu\/"},{"@type":"ListItem","position":2,"name":"Eficiencia y entrenamiento de redes neuronales profundas"}]},{"@type":"WebSite","@id":"https:\/\/cidai.eu\/#website","url":"https:\/\/cidai.eu\/","name":"CIDAI","description":"el Centre d\u2019Innovaci\u00f3 en IA i Tecnologies de Dades","publisher":{"@id":"https:\/\/cidai.eu\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/cidai.eu\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"es"},{"@type":"Organization","@id":"https:\/\/cidai.eu\/#organization","name":"CIDAI","url":"https:\/\/cidai.eu\/","logo":{"@type":"ImageObject","inLanguage":"es","@id":"https:\/\/cidai.eu\/#\/schema\/logo\/image\/","url":"https:\/\/cidai.eu\/wp-content\/uploads\/2025\/02\/CIDAI-header.png","contentUrl":"https:\/\/cidai.eu\/wp-content\/uploads\/2025\/02\/CIDAI-header.png","width":385,"height":78,"caption":"CIDAI"},"image":{"@id":"https:\/\/cidai.eu\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/x.com\/cidai_eu","https:\/\/www.linkedin.com\/company\/cidai\/posts\/?feedView=all"]},{"@type":"Person","@id":"https:\/\/cidai.eu\/#\/schema\/person\/cc9e051bdfb310f1cf7fad956c5d379f","name":"Luc\u00eda Arevalo","image":{"@type":"ImageObject","inLanguage":"es","@id":"https:\/\/secure.gravatar.com\/avatar\/6a90209dd4f25228e1781351558cd6349cfc877f702ab3a33e6437fbba0dc7b6?s=96&d=mm&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/6a90209dd4f25228e1781351558cd6349cfc877f702ab3a33e6437fbba0dc7b6?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/6a90209dd4f25228e1781351558cd6349cfc877f702ab3a33e6437fbba0dc7b6?s=96&d=mm&r=g","caption":"Luc\u00eda Arevalo"}}]}},"_links":{"self":[{"href":"https:\/\/cidai.eu\/es\/wp-json\/wp\/v2\/posts\/5826","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/cidai.eu\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/cidai.eu\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/cidai.eu\/es\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/cidai.eu\/es\/wp-json\/wp\/v2\/comments?post=5826"}],"version-history":[{"count":1,"href":"https:\/\/cidai.eu\/es\/wp-json\/wp\/v2\/posts\/5826\/revisions"}],"predecessor-version":[{"id":9221,"href":"https:\/\/cidai.eu\/es\/wp-json\/wp\/v2\/posts\/5826\/revisions\/9221"}],"wp:attachment":[{"href":"https:\/\/cidai.eu\/es\/wp-json\/wp\/v2\/media?parent=5826"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/cidai.eu\/es\/wp-json\/wp\/v2\/categories?post=5826"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/cidai.eu\/es\/wp-json\/wp\/v2\/tags?post=5826"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}