Fils de Bertha (née Schorr) et Abraham Wallach, il a grandi dans la seule famille juive vivant dans un quartier essentiellement américano-italien. Il fut diplômé de l'Université du Texas à Austin et a reçu un « Masters of Arts » du Collège de la ville de New York. Wallach a servi en tant que sergent-chef à Hawaï dans un hôpital militaire dans l'armée des États-Unis pendant la Seconde Guerre mondiale. Il obtenu aussi le grade de sous-lieutenant.

Outre ses principales prestations dans Le Bon, la Brute et le Truand et Les Sept Mercenaires, il est aussi connu pour son rôle de Don Altobello, personnage trouble, dans Le Parrain III ainsi que pour son rôle de Silva Vacarro, personnage de séducteur dans Baby Doll d'Elia Kazan.

Il a deux s½urs et un frère. Il est marié à l'actrice Anne Jackson depuis le 5 mars 1948, et ils ont eu trois enfants : Peter, Katherine et Roberta. En 2005, Wallach a publié son autobiographie : The Good, Bad and Me (Le Bon, la Brute et moi) : ouvrage dans lequel il explique que ce fut pour lui un honneur de travailler avec Clint Eastwood, mais dans lequel il reprocha à Sergio Leone sa négligence notoire à assurer la sécurité de ses acteurs pendant les scènes dangereuses.