Nació el 5 de diciembre de 1938 en Oklahoma City, transladándose posteriormente a Tulsa. Se inició en los años sesenta formando varios grupos como Johnnie Cale and The Valentines. Se traslada a Los Angeles, donde apoyado por Leon Russell, se hizo con una sólida reputación como músico de estudio.

En el año 1967 graba un LP junto al productor Snuff Garrett. El trabajo, atribuido a un grupo inexistente -The Leather Coated Minds- y titulado "A Trip Down Sunset Strip", pasó desapercibido. En 1970, es contratado para acompañar al dúo Delaney & Bonnie en una de sus giras. Conoce a Eric Clapton, que figuraba entre los músicos de aquel espectáculo. Finalizado el tour, Clapton graba una de las canciones de Cale, After Midnight, tema que el propio Cale había ya editado sin ninguna repercusión. La versión hizo que muchos lo conocieran.

Leon Russell, uno de los propietarios de Shelter Records, edita en 1972 el primer LP de J.J. Cale: Naturally, grabado junto a algunos de los mejores músicos de Nashville. En 1976 aparece Troubadour. En él se incluía Cocaine -que también sería grabada por Clapton-.

Su estilo es una mezcla acertada de folk, country y blues, respetando siempre la tradición sureña americana. Su estilo, llamado de "Laid Back" hace que sea fácil reconocer una canción suya.