You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
En esta sección se muestran los resultados obtenidos de las implementaciones hechas para el método basado en regresión lineal múltiple (ML) y red neuronal (RN). El proceso de entrenamiento para ambos casos se llevó a cabo con 10000 instancias, cada instancia es una transaccion de lectura real desde la cual se precalcularon los 42 descriptores definidos en el Capítulo \ref{cap:prediccion}.
72
-
71
+
En esta sección se muestran los resultados obtenidos de las implementaciones hechas para los métodos de predicción basados en regresión lineal múltiple (ML) y red neuronal (RN). El proceso de entrenamiento para ambos casos se llevó a cabo con 10000 instancias, cada instancia es una transaccion de lectura real desde la cual se precalcularon los 42 descriptores definidos en el Capítulo \ref{cap:prediccion}.
73
72
74
73
% Se debe elegir cuáles métodos se comentarán y cuáles se mandarán al apéndice (gov2 para wand y bmw es buen candidato)
75
-
Las Tablas \ref{ml_gov2_wand}, \ref{ml_gov2_bmw}, \ref{ml_clueweb_wand} y \ref{ml_clueweb_bmw} muestran los valores obtenidos en el proceso de entrenamiento del modelo ML para los conjuntos de datos Gov2 y ClueWeb utilizando los métodos Wand y Block Max Wand. A pesar de que son 42 variables independiente, en forma general se pueden observar buenos valores de los coeficientes de regresión de \textit{pearson} para cada uno de los modelos, lo que significa que existe una relación lineal entre el tiempo de las consultas y el modelo.
74
+
Las Tablas \ref{ml_gov2_wand}y \ref{rn_gov2_wand} muestran los valores obtenidos en el proceso de construcción de los modelos ML y RN en términos del coeficiente de Pearson y la raíz del error cuadrático medio (RMSE) en milisegundos; en ambos procesos mostrados en las tablas anteriores se utilizó el \textit{dataset} Gov2 y el método Wand. Los resultados para los modelos restantes son presentados en el Anexo \ref{ape:apeA}.
76
75
76
+
A pesar de que son 42 variables independiente, en forma general se pueden observar buenos valores de los coeficientes de regresión de \textit{Pearson} para cada uno de los modelos, lo que significa que existe una relación lineal entre el tiempo de las consultas y el modelo. Adicionalmente calculando el coeficiente de determinación, se puede notar que en el peor caso del modelo ML el porcentaje de variabilidad del tiempo explicado por el modelo alcanza un $67\%$ ($(0.819^2) * 100$) y en el caso del modelo RN alcanza un $79.5\%$ ($(0.892^2) * 100$) . Con el conjunto de datos Clueweb se obtienen mejores coeficientes de correlación (ver Anexo \ref{ape:apeA}).
77
+
% Omitiendo análisis del RMSE
77
78
78
79
\begin{table}[htbp]
79
80
\caption{Resultados método ML utilizando el conjunto de datos Gov2 y método de procesamiento Wand.}
\caption{Resultados método RN utilizando el conjunto de datos Gov2 y método de procesamiento Wand.}
96
95
\begin{center}
@@ -105,44 +104,63 @@ \section{Predicción de tiempos}
105
104
\label{rn_gov2_wand}
106
105
\end{table}
107
106
108
-
%---------------------------------------------
107
+
A pesar de que los resultados mostrados anteriormente muestran que ambos modelos explican un porcentaje aceptable del fenómeno, la manera de evaluar estos métodos será mediante el porcentaje de error que se arroja para un segundo conjunto de consultas, usado exclusivamente para la evaluación. Se utilizaron dos conjuntos diferentes de 1000 consultas tanto de los \textit{datasets} Gov2 como de Clueweb. Los parámetros utilizados para la evaluación fueron el RMSE (en milisegundos) y también el error relativo promedio porcentual (ERP) definido como ($\frac{Error Absoluto Medio}{Tiempo Real Promedio}) * 100$. La Tabla \ref{validacion_modelos_gov2_wand} muestra un resumen de los resultados obtenidos, aquí se muestra que tanto el RMSE como el ERP son menores para el modelo ML; lo que indica que el modelo multilineal generaliza de mejor manera para el conjunto de datos Gov2.
109
108
109
+
El detalle de los resultados obtenidos en el proceso de evaluación de ambos métodos de aprendizaje para los diferentes escenarios son mostrados en el Anexo ref{ape:apeB}.
110
110
111
-
A continuación se muestran los resultados obtenidos en la etapa de evaluación de modelo.
112
-
% ----------------------------------------- Proceso de validación con 20.000 datos más ------------------------------------------%
113
-
% Explicar el error que se utilizó y por qué no se utilizó error relativo
114
-
% Hacer conclusiones acerca de Wand y BMW
115
-
% Hacer la conclusión de dependencia de datos
116
-
% Apendice
117
-
% Se debe elegir cuáles métodos se comentarán y cuáles se mandarán al apéndice (gov2 para wand y bmw es buen candidato)
118
111
\begin{table}[htbp]
119
-
\caption{Errores obtenidos método ML utilizando Gov2 y Wand}
112
+
\caption{Comparación de proceso entrenamiento versus proceso de validación}
120
113
\begin{center}
121
-
\begin{tabular}{|c|c|c|c|c|c|}
114
+
\begin{tabular}{|c|c|c|c|c|}
122
115
\hline
123
-
& \multicolumn{ 5}{c|}{Estimador ML - Gov2 Test – Wand} \\ \hline
\caption{Errores obtenidos método RN utilizando Gov2 Test y Wand.}
134
-
\begin{center}
135
-
\begin{tabular}{|c|c|c|c|c|c|}
125
+
Finalmente con el objetivo de entender el por qué del valor de los errores obtenidos anteriormente para el modelo RN, se hizo un análisis exclusivo del coeficiente de correlación de este modelo con las dos muestras de la Web disponibles (Gov2 y Clueweb). Se tomó este estadístico para el proceso de entrenamiento y evaluación para distintos números de neuronas en la capa oculta (2, 10 y 20). Los valores obtenidos para la Clueweb se muestran en la Figura \ref{fig:cluewebRN}, en donde se puede apreciar que la diferencia entre el coeficiente de correlación de entrenamiento y el calculado desde el conjunto de evaluación no parece ser muy importante; sin embargo, cuando se observa los resultados para la Gov2 (Figura \ref{fig:gov2RN}), se puede apreciar una gran diferencia entre sus coeficientes de correlación de entrenamiento y evaluación, por ejemplo, para 20 neuronas se observa un coeficiente de entrenamiento de $0.96$, mientras que el de evaluación es $0.61$. Lo explicado anteriormente muestra que el modelo RN es realmente dependiente de los datos, por lo que no es confiable utilizarlo en todos los escenarios. Además se puede observar que al aumentar significativamente el número de neuronas en la capa oculta los resultados no son muy diferentes e incluso son peores cuando se ocupa los datos de Gov2, lo que podría ser muestra de un sobreentrenamiento del modelo. Sin embargo, esto no descarta una solución basada en redes neuronales, sino que es necesario encontrar un conjunto más preciso de descriptores.
0 commit comments