Embora só tenha se voltado para o palco na meia-idade, após duas décadas na Royal Navy, Jack Gwillim foi um ator notável dos dois lados do Atlântico. Durante a década de 1950, foi membro da Royal Shakespeare Company em Stratford, Inglaterra, por três anos durante o período de Sir Anthony Quayle como diretor artístico, e membro da Old Vic Company por mais três anos. Seus extensos créditos teatrais incluíram muitos papéis principais no West End, entre eles "Sacred Flame", com Gladys Cooper e Wendy Hiller, "The Right Honourable Gentleman", com Quayle, "The Dark is Light Enough", com Dame Edith Evans, "Castle In Sweden", com Diane Cilento, "Portrait Of Murder", "A Kind Of Folly", com Dame Flora Robson, "You Never Can Tell" e "Merchant Of Venice", com Sir Ralph Richardson. Em 1969, emigrou para os Estados Unidos, trabalhando nos principais teatros regionais, off-Broadway e Broadway. Seus créditos na Broadway incluem o papel do Col. Pickering na remontagem de "My Fair Lady" com Rex Harrison, e o marido de Ingrid Bergman em "The Constant Wife", dirigida por Sir John Gielgud. Outros espetáculos na Broadway incluíram "Ari", "MacBeth", com Christopher Plummer e 'Glenda Jackson (I)', "Romeo and Juliet", "Lost in the Stars", com Brock Peters, "The Iceman Cometh", com James Earl Jones, e, com a Old Vic, "MacBeth", "Romeo and Juliet", com Claire Bloom, "Richard II" e "Troilus and Cressida". Fez inúmeras turnês nos Estados Unidos, incluindo "Laurette", com Judy Holliday.

No palco, trabalhou com atores como Sir Ralph Richardson, Sir Anthony Quayle, Dame Judith Anderson, Judi Dench, Sir Michael Redgrave e Richard Burton. Também é conhecido por filmes de guerra como The Battle of the River Plate (1956), com Peter Finch, The One That Got Away (1957), North West Frontier (1959), com Lauren Bacall, e Sink the Bismarck! (1960). Seu trabalho em épicos inclui Solomon and Sheba (1959), com Yul Brynner, Cromwell (1970), com Richard Harris, e os vencedores do Oscar Lawrence of Arabia (1962), Patton (1970) e A Man for All Seasons (1966). Seu trabalho em favoritos cult inclui Jason and the Argonauts (1963) e Clash of the Titans (1981), com Sir Laurence Olivier. Seu trabalho em filmes da "Hammer" inclui Sword of Sherwood Forest (1960), com Peter Cushing, Circus of Horrors (1960) e The Curse of the Mummy's Tomb (1964). Também coestrelou o sucesso da Disney In Search of the Castaways (1962), com Maurice Chevalier e Hayley Mills.

Seu trabalho de voz pode ser ouvido na Caedmon Records em "Anthony & Cleopatra", "King John", "Macbeth", "Richard II", "Titus Andronicus", "Troilus and Cressida", "Hamlet", "A Midsummer Night's Dream", e "Henry IV" partes I e II e "Henry V".