Работал на киностудии «Ленфильм» совместно с Иосифом Хейфицем. Дебютировал в фильме «Луна слева». Настоящий успех пришёл к Зархи и Хейфицу после выпуска лирической комедии «Горячие денёчки». Фильмы «Депутат Балтики» и «Член правительства» сделали Зархи и Хейфица киноклассиками.  После 20 лет совместной работы, к концу 1950-х годов творческий тандем распался. Среди самостоятельных работ наибольшей известностью пользовались картины  «Высота» и «Анна Каренина». Был удостоен высших наград и званий СССР.