SELU: Rectificador lineal escalado exponencial
Definición:
SELU (Rectificador lineal escalado exponencial) es una función de activación que se ha vuelto popular recientemente en el campo del aprendizaje profundo. Está diseñada para aliviar el problema del «muerto de gradientes» que ocurre en Redes Neuronales Profundas (DNNs) durante el entrenamiento.
Forma funcional:
La función SELU toma la siguiente forma:
SELU(x) = λ * (exp(x) - 1) if x < 0 SELU(x) = λ * x if x >= 0
donde λ es un hiperparámetro que generalmente se establece en 1,0507.
Propiedades:
- Autoescalado: SELU escala automáticamente las salidas de las capas previas a un rango centrado alrededor de cero. Esto ayuda a evitar que los gradientes desaparezcan o exploten durante el entrenamiento.
- No saturante: A diferencia de los rectificadores lineales (ReLU) estándar, SELU no satura las salidas para valores de entrada grandes. Esto permite que los gradientes fluyan a través de capas profundas incluso cuando las activaciones son grandes.
- Valor medio que no es cero: SELU introduce un pequeño desplazamiento negativo en las salidas negativas, lo que ayuda a romper la simetría en las distribuciones de activación. Esto puede mejorar la convergencia y la estabilidad del entrenamiento.
Beneficios:
- Mejora la convergencia y la estabilidad del entrenamiento, especialmente para DNNs profundas.
- Reduce la necesidad de técnicas de normalización de capas como Batch Normalization.
- Acelera el entrenamiento y permite tasas de aprendizaje más altas.
Aplicaciones:
SELU se ha utilizado con éxito en una variedad de aplicaciones de aprendizaje profundo, que incluyen:
- Visión artificial
- Procesamiento del lenguaje natural
- Aprendizaje por refuerzo
Tendencia ascendente en Google Trends AR:
La creciente popularidad de SELU en Google Trends AR indica un interés creciente en esta función de activación entre los investigadores y los profesionales del aprendizaje profundo. Esto se debe probablemente a su eficacia mejorada y su facilidad de uso en comparación con otras funciones de activación.
La IA nos ha proporcionado la noticia.
Le hice a Google Gemini la siguiente pregunta y aquí está su respuesta.
Busque «selu», que está aumentando rápidamente en Google Trends AR y explique en detalle. Las respuestas deben estar en español.
269