Charles Gray recibió su formación vocal en la Royal Shakespeare Company en Stratford-upon-Avon y en el Old Vic, tras haber abandonado su primer trabajo como empleado de una agencia inmobiliaria. Su voz se convertiría en una de sus herramientas más valiosas. De hecho, a partir de enero de 1966, dobló sutilmente, casi imperceptiblemente, a Jack Hawkins después de que este actor quedara incapaz de decir sus líneas debido a un cáncer de garganta. En años posteriores, la voz característica de Gray se escuchó regularmente en anuncios televisivos.

El debut teatral de Charles Gray se produjo en 1952 en el papel de Charles el Luchador en "As You Like It", apareciendo bajo su nombre original, 'Donald Gray'. A partir de 1956, como 'Charles' Gray (ya que existía un actor manco llamado Donald Gray), asumió papeles dramáticos principales y obtuvo elogios de la crítica como Aquiles en "Troilus and Cressida", Macduff en "Macbeth" y como el glotón Sir Epicure Mammon en la versión actualizada de Tyrone Guthrie de "The Alchemist", en 1962. Repitió su actuación en el Old Vic como Henry Bolingbroke para su debut en Broadway en el Winter Garden Theatre en 1956. Una actuación posterior notable, durante una gira por Estados Unidos y Canadá, fue como el Príncipe de Gales en la obra de Peter Stone sobre el famoso actor del siglo XIX Edmund Kean ("Kean", 1961). En 1964, Gray ganó el premio Clarence Derwent al Mejor Actor de Reparto por su papel en la controvertida obra "Poor Bitos", de Jean Anouilh, coprotagonizada por Donald Pleasence. Se le ofreció su primer papel en la gran pantalla, retomando un éxito del West End en 1958, como el Capitán Cyril Mavors, en el musical satírico Expresso Bongo (1959).

Durante los siguientes cuarenta años, Charles Gray, corpulento, de cabello plateado y mandíbula prominente, utilizó su imponente figura y su voz meliflua con gran efecto para crear para la pantalla una memorable galería de aristócratas egocéntricos e imperiosos, y de supermalvados suaves y sardónicos. Aunque sus actuaciones a veces rayaban en lo camp, Gray aceptaba alegremente ser encasillado dentro de su gama de personajes básicamente antipáticos, que podía interpretar bien y con facilidad. Tendía a favorecer la televisión como su medio preferido, aunque algunos de sus papeles más populares fueron para la gran pantalla. Entre su nicho de personajes habituales estaban los militares fríamente pomposos (el General Gabler en The Night of the Generals (1967)), o los perpetuamente burlones y dominantes snobs de clase alta (fiel a su estilo, como el espía desertor Hillary Vance en el episodio "Night is the Time for Killing" de Thriller (1973)). En su mejor momento maligno, fue imponente como el acólito demoníaco Mocata, en The Devil Rides Out (1968) y como el enemigo de James Bond que acaricia a un gato y de voz aterciopelada, Ernst Stavro Blofeld, en Diamonds Are Forever (1971). También fue adecuadamente siniestro como Bates el Mayordomo, una de las pistas falsas de The Mirror Crack'd (1980) de Agatha Christie.

Los papeles recurrentes de Gray incluyeron a Lord Seacroft (tanto padre como hijo) en la efímera miniserie satírica The Upper Crusts (1973) como un aristócrata venido a menos, manteniendo las apariencias después de verse obligado a vivir en un bloque de viviendas sociales; y como el sedentario hermano del famoso detective en el 221b de Baker Street, Mycroft, en The Seven-Per-Cent Solution (1976). Más tarde, fue utilizado como reemplazo temporal, primero de Edward Hardwicke y, posteriormente, de la estrella hospitalizada Jeremy Brett, en las diversas entregas de la saga de Sherlock Holmes de Granada Television (1985-1994).