A partir de estudios médicos sobre la supervivencia de pacientes egresados de las Unidades de Cuidados Intensivos (UCI) en el Hospital Arnaldo Milián Castro, y dada la ausencia de un sistema de puntuación aplicable en todos los escenarios clínicos que ofrezca una evaluación completa en pacientes con características específicas para predecir la mortalidad oculta al egreso, se desarrolló un sistema para predecir este indicador y apoyar la toma de decisiones en UCI. El mejor modelo entrenado resultó ser un MLP, con la aplicación previa de Random Oversampling para mejorar el desbalance de clases. El modelo más eficaz entrenado es una caja negra y para aportar transparencia en la predicción de la mortalidad oculta y por tanto confianza y credibilidad se implementaron los métodos de explicabilidad local LIME, SHAP, Integrated Gradients y Saliency Maps, que muestran la relevancia de las características de cada paciente en su predicción, así como las métricas LSE y Fidelidad para evaluar la calidad de la explicación obtenida. Los resultados de la explicación facilitan a partir de las pruebas de campo desarrolladas ajustar el modelo entrenado y ofrecen una explicación a los especialistas sobre los factores o atributos que más influyen en la predición realizada, lo cual contribuye a la toma de decisiones. Para facilitar la interacción de los profesionales de la salud, se desarrolló una aplicación web en Streamlit que integra el modelo obtenido y la visualización resumen de la combinación de los cuatro métodos de explicación empleados, proporcionando una interfaz interactiva e intuitiva, lista para su implementación en el entorno clínico.