Немецкий пианист и композитор еврейского происхождения Йозеф Вайс родился в Кошице в семье владельца городской мельницы. Он учился в Будапештской музыкальной академии у Ференца Эркеля (фортепиано) и Роберта Фолькмана (композиция), а в 1880–1882 годах дополнительно занимался у Ференца Листа. В 1877 году Вайс впервые выступил на концерте студентов, исполнив собственную пьесу «Введение и марш». В год окончания академии он представил скерцо из своей первой симфонии ре минор.
По приглашению импресарио Германа Вольфа Вайс поселился в Берлине; некоторое время он, по-видимому, также занимался у Морица Мошковского. С 1884 года пианист концертировал в разных странах Европы. В 1891 году в Веймаре он исполнил свой фортепианный концерт ля минор, соч. 13, под управлением Рихарда Штрауса. Некоторое время Вайс преподавал в Новой академии музыки.
В 1891–1892 годах Вайс преподавал фортепиано в Санкт-Петербургской консерватории. Среди его учеников были Самуил Майкапар, Леонид Щедрин и Александра Снеткова. В Петербурге Вайс также выступал как пианист и исполнил свой концерт ля минор с оркестром под управлением Леопольда Ауэра. В 1893 году он вернулся в Германию и продолжил карьеру концертирующего солиста.
В сезоне 1899–1900 годов Вайс дал семь концертов в Нью-Йорке, включив в программы преимущественно произведения Фридерика Шопена, Ференца Листа и Иоганнеса Брамса. В 1910 году он должен был исполнить фортепианный концерт Роберта Шумана с Нью-Йоркским филармоническим оркестром под управлением Густава Малера, но отказался от выступления после репетиции; солистом стал Паоло Галлико. В 1913 году Вайс написал музыку к фильму «Пражский студент» и исполнил ее на премьере в Берлине. С 1914 года он преподавал в Консерватории Штерна. Его последние известные записи, в том числе сонат Людвига ван Бетховена № 18 и № 23, относятся к 1924 году. В последние годы жизни Вайс жил в Кошице, а затем в Будапеште; он умер там в 1945 году.