Знаменитый певец начал карьеру в 1961 году в небольших пабах Шеффилда, выступая под псевдонимом Vance Arnold в составе группы The Avengers. В репертуар входили в основном песни Чака Берри и Рэя Чарльза. В 1963 году Кокер и его команда выступили на сцене Шеффилдского сити-холла перед концертом Rolling Stones.
В 1966 году Джо Кокер вместе с Крисом Стейнтоном (Chris Stainton) создали группу Grease Band, играя в основном негритянский ритм-энд-блюз и соул. В 1968 году певец записал собственную версию битловской With А Little Help From My Friends, которая в ноябре достигла вершины национального хит-парада продаж.
Весной 1969 года Grease Band отправилась в свой первый тур по США. Альбом With A Little Help From my Friends был выпущен вскоре после прибытия в Америку и занял 35-е место в американских чартах. В августе 1969 года его выступление стало одним из гвоздей фестиваля в Вудстоке. В следующем году певец гастролировал по Америке, где за 56 дней вместе со своей свитой, состоящей более чем из сорока человек, объездил 48 городов и дал 52 концерта.
По причине злоупотребления алкоголем его мощный голос со временем превратился в предельно хриплый баритон. Это не помешало ему в 1982 году в дуэте с Дженнифер Уорнс покорить американские чарты с медленной балладой Up Where We Belong, за которой последовали другие песни в аналогичном стиле. Кокер был одним из немногих вудстокских ветеранов, который выступил с успехом на Woodstock '94.
Малоизвестная песня Кокера Woman To Woman была переработана рэп-продюсером Доктором Дрэ для Тупака Шакура в суперхит California Love, который возглавил Billboard Hot 100 и был включен в cписок 500 лучших песен всех времен по версии журнала Rolling Stone. Также эта песня звучит в компьютерной игре Grand Theft Auto: San Andreas на радиостанции K-DST.
Последние годы певец страдал раком легких и скончался 22 декабря 2014 года в Колорадо.