Яак Йоала родился в музыкальной семье и с детства мечтал о сцене. Его мать, музыковед, работающая в Государственной филармонии ЭССР прививала ему музыкальную культуру: еще маленьким мальчиком он неплохо разбирался в ней, предпочитая итальянскую оперу, обучался игре на фортепиано и флейте.
Специальностью Яака в школе и музыкальном училище была флейта, но уже с 16 лет он играл на бас-гитаре и пел в эстонских бит-командах, первой из которых был ансамбль «Кристаллы» (Kristallid), позже он начал выступать с группой «Северное сияние» (Virmalised). В это время, с 1966 по 1968-й, к Йоале приходит известность: он записывается на радио и часто появляется в телепередаче «Гороскоп».
К моменту ухода в армию молодой певец был уже настолько популярен, что за его службой следила эстонская молодежная пресса, как в свое время американские журналисты освещали армейскую жизнь Элвиса Пресли. Йоала служил в Таллине и часто посещал концерты.
Окончив службу, Яак Йоала участвует в конкурсах исполнителей и часто становится победителем. В 1970 году он лидировал в республиканском конкурске комсомольской песни, затем — в конкурсе молодых эстрадных певцов. С 1972 года артист пробует себя на всесоюзных и международных фестивалях. Он поет в Ростоке и Хельсинки, участвует в конкурсах «Типпмелоодия-1972» и «Таллин-Тарту». В 1975 году он побеждает на конкурсе «Вильнюсские башни» и получает специальный приз жюри на международном конкурсе песни в Сопоте.
Яак Йоала пел на русском и эстонском языке. Песни специально для него писали лучшие советские композиторы: Тухманов, Зацепин, Паулс, Ойт. Всесоюзную известность Йоале принесло участие в многочисленных телепрограммах формата «Песня года» и «Голубой огонек».
Большую популярность получили его песни из кинофильма «31 июня» и исполнение всесоюзного хита «Лаванда» в дуэте с Софией Ротару.
На родине Йоалу много критиковали за то, что он пел на русском. Прозвище Кремлевский соловей он получил именно из-за этого. Такое отношение, возможно стало препятствием для развития его певческой карьеры в постсоветской Эстонии. Он преподавал в таллинском музыкальном училище и подготовил несколько успешных артистов. Последние годы Йоала жил на хуторе в 20 километрах от Таллина.