Nació en la quinta Bailón (actualmente conocido como el barrio La Negrita), en Arequipa, el 10 de marzo de 1909. Era el último de los 7 hermanos. Quedó huérfano de padre y madre, antes de cumplir su primer año de vida. Asumieron la tutoría de todos los hermanos sus tíos paternos don Pío Francisco Calderón Navarro y doña Carmen Bailón García.
Los estudios primarios los realizó en la Escuela «Sagrados Corazones» y la educación secundaria en el Colegio de la «Independencia Americana», de la misma ciudad blanca de Arequipa. Los estudios de teología lo realizó en el Convento Franciscano de Santa Rosa de Ocopa que está ubicado en la provincia de Concepción, ubicado dentro del ámbito de la actual Arquidiócesis de Huancayo.
Los frailes del Convento “Santa Rosa» de Ocopa recuerdan con mucho cariño la presencia de Fray Leonardo José Rodríguez Ballón en su convento; mientras éste concluía los estudios, fray Juan Landazuri Ricketts iniciaba los estudios eclesiásticos; ambos arequipeños; el primero como Arzobispo de su tierra natal por largos 34 años y el último como Arzobispo de la Arquidiócesis de Lima y Primado del Perú por el período de 36 años.
Monseñor Rodríguez Ballón fue ordenado sacerdote el 21 de abril de 1935, en el Convento franciscano de «Santa Rosa» de Ocopa, lugar donde realizó sus estudios. En 1943, a los 34 años de edad, fue ordenado y nombrado obispo auxiliar de la Arquidiócesis de Lima. Al momento de crear la Diócesis de Huancayo, el papa Pío XII lo nombró primer obispo; cargo que desempeñó en la Diócesis por el período aproximado de un año (6 de julio de 1945 hasta el 13 de junio de 1946); aunque la toma de posesión canónica de la nobilísima Diócesis se realizó el 23 de agosto de 1945. En su corto período de estadía se dedicó a organizar el Obispado de Huancayo en la estructuración canónica del clero, la delimitación territorial, la Curia, la Catedral, etc. En este breve período de su episcopado convocó a los sacerdotes de la Diócesis de Huánuco, que ya desde hacía mucho tiempo desempeñaban su ministerio sacerdotal en Huancayo y también a otros sacerdotes de buena voluntad, en atribución de segregar territorialmente, para la respectiva incardinación de los sacerdotes en la nueva Diócesis de Huancayo. En ese período transitorio de su episcopado fue trasladado a su tierra natal para pastorear la Iglesia de Arequipa por largos 34 años (1946-1980); donde, entre una de sus labores emblemáticas, fue la fundación de la Universidad Católica «Santa María», el 6 de diciembre de 1961.
Falleció en Lima, el 5 de octubre de 1992. Fue sepultado en la Capilla del Señor de Gran Poder de la Catedral de Arequipa, el 8 de octubre de 1992.