Skip to content

Commit 6d6332f

Browse files
committed
Se agrega seccion prediccion de tiempos del Cap 6
1 parent cfdd7cc commit 6d6332f

9 files changed

+1421
-39
lines changed

chapters/6-evaluacionexperimental.tex

Lines changed: 50 additions & 32 deletions
Original file line numberDiff line numberDiff line change
@@ -68,12 +68,13 @@ \subsection{Resultados obtenidos}
6868

6969
\section{Predicción de tiempos}
7070
\label{evaluacionexperimental:predicciontiempos}
71-
En esta sección se muestran los resultados obtenidos de las implementaciones hechas para el método basado en regresión lineal múltiple (ML) y red neuronal (RN). El proceso de entrenamiento para ambos casos se llevó a cabo con 10000 instancias, cada instancia es una transaccion de lectura real desde la cual se precalcularon los 42 descriptores definidos en el Capítulo \ref{cap:prediccion}.
72-
71+
En esta sección se muestran los resultados obtenidos de las implementaciones hechas para los métodos de predicción basados en regresión lineal múltiple (ML) y red neuronal (RN). El proceso de entrenamiento para ambos casos se llevó a cabo con 10000 instancias, cada instancia es una transaccion de lectura real desde la cual se precalcularon los 42 descriptores definidos en el Capítulo \ref{cap:prediccion}.
7372

7473
% Se debe elegir cuáles métodos se comentarán y cuáles se mandarán al apéndice (gov2 para wand y bmw es buen candidato)
75-
Las Tablas \ref{ml_gov2_wand}, \ref{ml_gov2_bmw}, \ref{ml_clueweb_wand} y \ref{ml_clueweb_bmw} muestran los valores obtenidos en el proceso de entrenamiento del modelo ML para los conjuntos de datos Gov2 y ClueWeb utilizando los métodos Wand y Block Max Wand. A pesar de que son 42 variables independiente, en forma general se pueden observar buenos valores de los coeficientes de regresión de \textit{pearson} para cada uno de los modelos, lo que significa que existe una relación lineal entre el tiempo de las consultas y el modelo.
74+
Las Tablas \ref{ml_gov2_wand} y \ref{rn_gov2_wand} muestran los valores obtenidos en el proceso de construcción de los modelos ML y RN en términos del coeficiente de Pearson y la raíz del error cuadrático medio (RMSE) en milisegundos; en ambos procesos mostrados en las tablas anteriores se utilizó el \textit{dataset} Gov2 y el método Wand. Los resultados para los modelos restantes son presentados en el Anexo \ref{ape:apeA}.
7675

76+
A pesar de que son 42 variables independiente, en forma general se pueden observar buenos valores de los coeficientes de regresión de \textit{Pearson} para cada uno de los modelos, lo que significa que existe una relación lineal entre el tiempo de las consultas y el modelo. Adicionalmente calculando el coeficiente de determinación, se puede notar que en el peor caso del modelo ML el porcentaje de variabilidad del tiempo explicado por el modelo alcanza un $67\%$ ($(0.819^2) * 100$) y en el caso del modelo RN alcanza un $79.5\%$ ($(0.892^2) * 100$) . Con el conjunto de datos Clueweb se obtienen mejores coeficientes de correlación (ver Anexo \ref{ape:apeA}).
77+
% Omitiendo análisis del RMSE
7778

7879
\begin{table}[htbp]
7980
\caption{Resultados método ML utilizando el conjunto de datos Gov2 y método de procesamiento Wand.}
@@ -89,8 +90,6 @@ \section{Predicción de tiempos}
8990
\label{ml_gov2_wand}
9091
\end{table}
9192

92-
%-----------------------------------------------------------------------------------------------------------------------------------%
93-
9493
\begin{table}[htbp]
9594
\caption{Resultados método RN utilizando el conjunto de datos Gov2 y método de procesamiento Wand.}
9695
\begin{center}
@@ -105,44 +104,63 @@ \section{Predicción de tiempos}
105104
\label{rn_gov2_wand}
106105
\end{table}
107106

108-
%---------------------------------------------
107+
A pesar de que los resultados mostrados anteriormente muestran que ambos modelos explican un porcentaje aceptable del fenómeno, la manera de evaluar estos métodos será mediante el porcentaje de error que se arroja para un segundo conjunto de consultas, usado exclusivamente para la evaluación. Se utilizaron dos conjuntos diferentes de 1000 consultas tanto de los \textit{datasets} Gov2 como de Clueweb. Los parámetros utilizados para la evaluación fueron el RMSE (en milisegundos) y también el error relativo promedio porcentual (ERP) definido como ($\frac{Error Absoluto Medio}{Tiempo Real Promedio}) * 100$. La Tabla \ref{validacion_modelos_gov2_wand} muestra un resumen de los resultados obtenidos, aquí se muestra que tanto el RMSE como el ERP son menores para el modelo ML; lo que indica que el modelo multilineal generaliza de mejor manera para el conjunto de datos Gov2.
109108

109+
El detalle de los resultados obtenidos en el proceso de evaluación de ambos métodos de aprendizaje para los diferentes escenarios son mostrados en el Anexo ref{ape:apeB}.
110110

111-
A continuación se muestran los resultados obtenidos en la etapa de evaluación de modelo.
112-
% ----------------------------------------- Proceso de validación con 20.000 datos más ------------------------------------------%
113-
% Explicar el error que se utilizó y por qué no se utilizó error relativo
114-
% Hacer conclusiones acerca de Wand y BMW
115-
% Hacer la conclusión de dependencia de datos
116-
% Apendice
117-
% Se debe elegir cuáles métodos se comentarán y cuáles se mandarán al apéndice (gov2 para wand y bmw es buen candidato)
118111
\begin{table}[htbp]
119-
\caption{Errores obtenidos método ML utilizando Gov2 y Wand}
112+
\caption{Comparación de proceso entrenamiento versus proceso de validación}
120113
\begin{center}
121-
\begin{tabular}{|c|c|c|c|c|c|}
114+
\begin{tabular}{|c|c|c|c|c|}
122115
\hline
123-
& \multicolumn{ 5}{c|}{Estimador ML - Gov2 Test – Wand} \\ \hline
124-
& 1t & 2t & 4t & 8t & 16t \\ \hline
125-
RMSE ML & 93,4213321631 & 55,2226746394 & 35,8065152454 & 31,5809909101 & 30,9943417318 \\ \hline
126-
Error ML (\%) & 46,7679492043 & 48,3620334358 & 49,158464109 & 54,3328274289 & 54,4780442408 \\ \hline
116+
& \multicolumn{ 2}{c|}{Modelo ML conjunto GOV2 método Wand} & \multicolumn{ 2}{c|}{Modelo RN conjunto GOV2 método Wand} \\ \hline
117+
& Entrenamiento & Validación & Entrenamiento & Validación \\ \hline
118+
RMSE & 36,5253569757 & 49,405170938 & 51,2108329846 & 73,2588845444 \\ \hline
119+
ERP (\%) & 40,7309501561 & 48,528654817 & 75,1585277033 & 78,7569645709 \\ \hline
127120
\end{tabular}
128121
\end{center}
129-
\label{ml_gov2test_wand}
122+
\label{validacion_modelos_gov2_wand}
130123
\end{table}
131124

132-
\begin{table}[htbp]
133-
\caption{Errores obtenidos método RN utilizando Gov2 Test y Wand.}
134-
\begin{center}
135-
\begin{tabular}{|c|c|c|c|c|c|}
125+
Finalmente con el objetivo de entender el por qué del valor de los errores obtenidos anteriormente para el modelo RN, se hizo un análisis exclusivo del coeficiente de correlación de este modelo con las dos muestras de la Web disponibles (Gov2 y Clueweb). Se tomó este estadístico para el proceso de entrenamiento y evaluación para distintos números de neuronas en la capa oculta (2, 10 y 20). Los valores obtenidos para la Clueweb se muestran en la Figura \ref{fig:cluewebRN}, en donde se puede apreciar que la diferencia entre el coeficiente de correlación de entrenamiento y el calculado desde el conjunto de evaluación no parece ser muy importante; sin embargo, cuando se observa los resultados para la Gov2 (Figura \ref{fig:gov2RN}), se puede apreciar una gran diferencia entre sus coeficientes de correlación de entrenamiento y evaluación, por ejemplo, para 20 neuronas se observa un coeficiente de entrenamiento de $0.96$, mientras que el de evaluación es $0.61$. Lo explicado anteriormente muestra que el modelo RN es realmente dependiente de los datos, por lo que no es confiable utilizarlo en todos los escenarios. Además se puede observar que al aumentar significativamente el número de neuronas en la capa oculta los resultados no son muy diferentes e incluso son peores cuando se ocupa los datos de Gov2, lo que podría ser muestra de un sobreentrenamiento del modelo. Sin embargo, esto no descarta una solución basada en redes neuronales, sino que es necesario encontrar un conjunto más preciso de descriptores.
126+
127+
\begin{figure}
128+
\begin{minipage}[][][b]{0.5\linewidth}
129+
\centering
130+
\includegraphics[width=\linewidth]{images/cluewebRN.eps}
131+
\end{minipage}%
132+
\begin{minipage}[b]{0.30\linewidth}
133+
\centering
134+
\begin{tabular}{|r|r|r|}
135+
\hline
136+
\multicolumn{ 3}{|c|}{Clueweb} \\ \hline
137+
\multicolumn{1}{|l|}{\# neuromas} & \multicolumn{1}{l|}{r entrenamiento} & \multicolumn{1}{l|}{r evaluación} \\ \hline
138+
2 & 0,9413 & 0,8589 \\ \hline
139+
10 & 0,9669 & 0,9052 \\ \hline
140+
20 & 0,9738 & 0,9004 \\ \hline
141+
\end{tabular}
142+
\end{minipage}
143+
\caption{Valores del coeficientes de correlación para el \textit{dataset} Clueweb.}
144+
\label{fig:cluewebRN}
145+
\end{figure}
146+
147+
\begin{figure}
148+
\begin{minipage}[][][b]{0.5\linewidth}
149+
\centering
150+
\includegraphics[width=\linewidth]{images/gov2RN.eps}
151+
\end{minipage}%
152+
\begin{tabular}{|r|r|r|}
136153
\hline
137-
& \multicolumn{ 5}{c|}{Estimador RN - Gov2 - Wand} \\ \hline
138-
& 1t & 2t & 4t & 8t & 16t \\ \hline
139-
RMSE RN & 83,3427688489 & 127,7971510158 & 78,5508679211 & 44,0078238263 & 32,5958111096 \\ \hline
140-
Error RN (\%) & 39,6467173103 & 109,5123072913 & 141,1360887399 & 123,600300482 & 62,1680304214 \\ \hline
154+
\multicolumn{ 3}{|c|}{Gov2} \\ \hline
155+
\multicolumn{1}{|l|}{\# neuronas} & \multicolumn{1}{l|}{r training} & \multicolumn{1}{l|}{r evaluation} \\ \hline
156+
2 & 0,8995 & 0,6803 \\ \hline
157+
10 & 0,9563 & 0,6502 \\ \hline
158+
20 & 0,9623 & 0,6080 \\ \hline
141159
\end{tabular}
142-
\end{center}
143-
\label{rn_gov2test_wand}
144-
\end{table}
145160

161+
\caption{Valores del coeficientes de correlación para el \textit{dataset} Gov2.}
162+
\label{fig:gov2RN}
163+
\end{figure}
146164

147165

148166

@@ -177,4 +195,4 @@ \section{Estrategias de scheduling}
177195
\label{fig:units_vs_multithread}
178196
\end{figure}
179197

180-
% Análisis de 1TQ
198+
% Análisis de 1TQ

chapters/ApendiceA.tex

Lines changed: 6 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -7,7 +7,7 @@ \chapter{Resultados del proceso de entrenamiento}
77
\begin{tabular}{|c|c|c|c|c|c|}
88
\hline
99
\multicolumn{ 6}{|c|}{Estimador ML – GOV2 – BMW} \\ \hline
10-
& 1t & 2t & 4t & 8t & 16t \\ \hline
10+
& 1 thread & 2 threads & 4 threads & 8 threads & 16 threads \\ \hline
1111
r & \multicolumn{1}{r|}{0,8782952873} & \multicolumn{1}{r|}{0,8809618279} & \multicolumn{1}{r|}{0,8479348273} & \multicolumn{1}{r|}{0,7771884041} & \multicolumn{1}{r|}{0,7377811742} \\ \hline
1212
RMSE & 72,364708101 & 40,8927943754 & 20,1217578763 & 13,7608115407 & 12,4521027766 \\ \hline
1313
\end{tabular}
@@ -21,7 +21,7 @@ \chapter{Resultados del proceso de entrenamiento}
2121
\begin{tabular}{|c|c|c|c|c|c|}
2222
\hline
2323
\multicolumn{ 6}{|c|}{Estimador ML – ClueWeb – WAND} \\ \hline
24-
& 1t & 2t & 4t & 8t & 16t \\ \hline
24+
& 1 thread & 2 threads & 4 threads & 8 threads & 16 threads \\ \hline
2525
r & 0,8613156155 & 0,8726350536 & 0,8646059611 & 0,8598639269 & 0,8497258186 \\ \hline
2626
RMSE & 91,9765237227 & 48,1189862101 & 21,9652740764 & 12,1717738001 & 9,3846426006 \\ \hline
2727
\end{tabular}
@@ -35,7 +35,7 @@ \chapter{Resultados del proceso de entrenamiento}
3535
\begin{tabular}{|c|c|c|c|c|c|}
3636
\hline
3737
\multicolumn{ 6}{|c|}{Estimador ML - ClueWeb – BMW} \\ \hline
38-
& 1t & 2t & 4t & 8t & 16t \\ \hline
38+
& 1 thread & 2 threads & 4 threads & 8 threads & 16 threads \\ \hline
3939
r & 0,8828211665 & 0,8891976969 & 0,808606576 & 0,823249926 & 0,7451258225 \\ \hline
4040
RMSE & 64,7039723565 & 35,281001295 & 25,7540777939 & 15,8306946733 & 17,9398672123 \\ \hline
4141
\end{tabular}
@@ -51,7 +51,7 @@ \chapter{Resultados del proceso de entrenamiento}
5151
\begin{tabular}{|c|c|c|c|c|c|}
5252
\hline
5353
\multicolumn{ 6}{|c|}{Estimador RN – GOV2 – BMW} \\ \hline
54-
& 1t & 2t & 4t & 8t & 16t \\ \hline
54+
& 1 thread & 2 threads & 4 threads & 8 threads & 16 threads \\ \hline
5555
r & 0,932476451 & 0,9360700621 & 0,8966995703 & 0,827613008 & 0,7880014511 \\ \hline
5656
RMSE & 54,7912225707 & 82,2905244753 & 60,3315527261 & 21,882569362 & 5,7758056986 \\ \hline
5757
\end{tabular}
@@ -65,7 +65,7 @@ \chapter{Resultados del proceso de entrenamiento}
6565
\begin{tabular}{|c|c|c|c|c|c|}
6666
\hline
6767
\multicolumn{ 6}{|c|}{Estimador RN – ClueWeb – Wand} \\ \hline
68-
& 1t & 2t & 4t & 8t & 16t \\ \hline
68+
& 1 thread & 2 threads & 4 threads & 8 threads & 16 threads \\ \hline
6969
r & 0,9214415134 & 0,928326314 & 0,9547375955 & 0,9520042927 & 0,9498575917 \\ \hline
7070
RMSE & 70,5610058313 & 98,6489306355 & 65,1112021339 & 24,172402818 & 8,4319553251 \\ \hline
7171
\end{tabular}
@@ -79,7 +79,7 @@ \chapter{Resultados del proceso de entrenamiento}
7979
\begin{tabular}{|c|c|c|c|c|c|}
8080
\hline
8181
\multicolumn{ 6}{|c|}{Estimador RN – ClueWeb – BMW} \\ \hline
82-
& 1t & 2t & 4t & 8t & 16t \\ \hline
82+
& 1 thread & 2 threads & 4 threads & 8 threads & 16 threads \\ \hline
8383
r & 0,9583572968 & 0,9581178412 & 0,8717897021 & 0,9019796766 & 0,8192397311 \\ \hline
8484
RMSE & 39,546150466 & 75,4843974473 & 48,4467865615 & 24,9504558614 & 17,0429025714 \\ \hline
8585
\end{tabular}

chapters/ApendiceB.tex

Lines changed: 28 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -1,5 +1,19 @@
11
\chapter{Resultado del proceso de evaluación de los modelos de aprendizaje}
2-
\label{ape:apeA}
2+
\label{ape:apeB}
3+
4+
\begin{table}[htbp]
5+
\caption{Errores obtenidos método ML utilizando Gov2 y Wand}
6+
\begin{center}
7+
\begin{tabular}{|c|c|c|c|c|c|}
8+
\hline
9+
& \multicolumn{ 5}{c|}{Estimador ML - Gov2 Test – Wand} \\ \hline
10+
& 1t & 2t & 4t & 8t & 16t \\ \hlin
11+
RMSE ML & 93,4213321631 & 55,2226746394 & 35,8065152454 & 31,5809909101 & 30,9943417318 \\ \hline
12+
ERP ML (\%) & 46,7679492043 & 48,3620334358 & 49,158464109 & 54,3328274289 & 54,4780442408 \\ \hline
13+
\end{tabular}
14+
\end{center}
15+
\label{ml_gov2test_wand}
16+
\end{table}
317

418
\begin{table}[htbp]
519
\caption{Errores obtenidos método ML utilizando Gov2 y Block Max Wand.}
@@ -44,6 +58,19 @@ \chapter{Resultado del proceso de evaluación de los modelos de aprendizaje}
4458
\end{table}
4559

4660
%---------- redes neuronales ahora
61+
\begin{table}[htbp]
62+
\caption{Errores obtenidos método RN utilizando Gov2 Test y Wand.}
63+
\begin{center}
64+
\begin{tabular}{|c|c|c|c|c|c|}
65+
\hline
66+
& \multicolumn{ 5}{c|}{Estimador RN - Gov2 - Wand} \\ \hline
67+
& 1t & 2t & 4t & 8t & 16t \\ \hline
68+
RMSE RN & 83,3427688489 & 127,7971510158 & 78,5508679211 & 44,0078238263 & 32,5958111096 \\ \hline
69+
ERP RN (\%) & 39,6467173103 & 109,5123072913 & 141,1360887399 & 123,600300482 & 62,1680304214 \\ \hline
70+
\end{tabular}
71+
\end{center}
72+
\label{rn_gov2test_wand}
73+
\end{table}
4774

4875
\begin{table}[htbp]
4976
\caption{Errores obtenidos método RN utilizando Gov2 Test y Block Max Wand.}

images/cluewebRN-eps-converted-to.pdf

6.16 KB
Binary file not shown.

0 commit comments

Comments
 (0)