Glenn doodt zijn dagen met het schrijven van een opus, een werk waar geen einde aan lijkt te komen. Als blijkt dat er geen geld genoeg meer in de lade zit, vindt zijn vrouw Iris (Glenne Headly) het beter dat hij zijn levenswerk even aan de kant zet en werk zoekt. Glenn geeft toe en wordt muziekleraar in de plaatselijke hogeschool.
Daar komt hij tot de ontdekking dat de leerlingen nauwelijks kaas hebben gegeten van muziek. Uitblinker in de negatieve zin is een ongetalenteerd ros meisje (een rol van Alicia Witt). Tijdens de bijlessen die hij haar geeft, slaagt Glenn er in haar zelfvertrouwen terug te laten winnen. Mr. Holland komt door dit voorval tot het besef dat hij tot nu toe lesgaf met zijn verstand in plaats van met zijn gevoel.
Hij gooit het roer om en durft het aan in de les muziekappreciatie moderne muziek te draaien, tot grote ergernis van bepaalde collega's. Glenns leven staat vanaf dat moment in het teken van zijn studenten. Hij wordt daarin gesteund door de directrice (Olympia Dukakis). Mr. Holland wordt in no time de favoriete leraar van de school.
Het loopt echter mis als Iris en Glenn een baby krijgen. Cole, zoals hun zoon wordt genoemd, blijkt doof. Voor Mr. Holland is dit een zware klap - zijn eigen kind zal immers nooit van muziek kunnen genieten.
Als daarenboven de mooie hoofdrolspeelster van de musical die de school elk jaar opvoert (Jean Louisa Kelly), verliefd wordt op Mr. Holland, komt de relatie met zijn vrouw erg onder spanning te staan. Op dat moment treedt actrice Glenne Headly op de voorgrond, en laat ze zien niet te moeten onderdoen voor de acteerprestaties van Dreyfuss.
Jaren later beslist het schoolcomité om te besparen op de muzieklessen. Mr. Holland wordt op vervroegd pensioen gestuurd. Tijdens het afscheidsfeest dat de leerlingen voor hem inrichten, bereikt de film een emotioneel hoogtepunt. De studenten blijken nu wel plots allures te hebben gekregen van een professioneel orkest. Zwartkijkers als wij stellen zich hier natuurlijk vragen bij, maar goed, it's only a movie.
Richard Dreyfuss zet de rol van Mr. Holland voortreffelijk neer. Hij speelt de rol niet, hij is het gewoon. Petje af ook voor de make-up afteling, die ons moeiteloos laat geloven dat Dreyfuss werkelijk dertig jaar ouder wordt.
Wie Dead Poets Society, het commerciële Dangerous Minds en Forrest Gump door elkaar mixt, weet ongeveer wat hij kan verwachten. Mr. Holland's Opus is niet op alle vlakken origineel, maar daarom niet minder aangrijpend.