Йозеф Иоахим учился у Йозефа Бёма в Венской консерватории, куда поступил в 1839 году после первых занятий в Пеште. Сначала он недолго занимался у Миски Хаузера и Георга Хельмесбергера-старшего, затем — у Бёма, уже известного педагога и одного из основателей венской скрипичной школы. Бём стал одним из ключевых наставников молодого Иоахима и повлиял на формирование его исполнительского стиля.
Обучение у Бёма помогло Иоахиму развить высокую технику и выразительность игры, что впоследствии сделало его одним из выдающихся европейских скрипачей XIX века. Несмотря на сравнительно недолгий период занятий, связь между учеником и учителем сыграла важную роль в становлении музыкальной карьеры Иоахима.