El futbolista nació en la ciudad de Luque el martes 27 de julio de 1965. Con 15 años debutó en la Primera División con la camiseta del Sportivo Luqueño en el año 1980, cuatro años después pasó al Club Guaraní logrando su primer título en la temporada 1984.
Posteriormente, tuvo su primer traspaso internacional a San Lorenzo de Almagro en 1985, con el equipo argentino comenzó a probar sus primeros tiros libres, sin embargo no logró convertir ningún gol. En 1988, fue transferido al Real Zaragoza de España, donde permaneció hasta 1991, ya en ese club marcó un gol de tiro penal.
En su regreso a Argentina en 1992 fue ofrecido nuevamente a San Lorenzo de Almagro, entonces llegó a Vélez Sarsfield, club donde viviría su etapa futbolística más exitosa. Con Carlos Bianchi como entrenador, el cuadro “V” ganó una seguidilla de títulos en los que Chilavert fue una de las principales figuras, tanto por su atajadas, así como por sus goles y la influencia directa que tenía en el plantel.
El 8 de junio de 1993 ganó el Torneo Clausura, un año después ganó la Copa Libertadores de 1994, luego la Copa Intercontinental del mismo año en la final con el AC Milán. En la temporada 1995/96 se coronó campeón del Torneo Apertura y Clausura. En 1996 logró la Copa Interamericana y la Supercopa Sudamericana. En 1997 obtuvo la Recopa Sudamericana en Japón frente a River Plate y en 1998 el Torneo Clausura.
En noviembre del año 2000, fue transferido al Racing de Estrasburgo, equipo con el que ganó la Copa de Francia y en 2003 conquistó su último título profesional con Peñarol de Uruguay. En el año 2004, volvió a Vélez Sarsfield para jugar la Copa Libertadores de América y posteriormente tuvo un encuentro homenaje para su despedida oficial.
José Luis Chilavert conquistó 12 títulos oficiales, además recibió el reconocimiento como mejor portero de la FIFA en tres oportunidades en los años 1995, 1997 y 1998. También disputó 74 partidos con la Selección Paraguaya y claramente fue un referente en los ocho clubes que jugó en su carrera.