После смерти отца Григорий Романович Гинзбург с шести лет воспитывался в семье Александра Борисовича Гольденвейзера, был его приемным сыном и начал заниматься музыкой.
В 1917 году Гинзбург поступил в Московскую консерваторию в класс Гольденвейзера и окончил ее в 1924 году; до 1928 года продолжал обучение в аспирантуре консерватории у него.