Debutó en la pantalla grande con "The Cry Baby Killer"(1959), traducida al castellano como “Grita, asesino”, largometraje producido por Roger Corman, realizado por Jus Addis e interpretado por los actores Harry Lauter y Carolyn Mitchell. Después le siguieron otras películas de Corman, como "La tienda de los horrores" (1960), "El cuervo" (1963), "El terror" (1963), "La matanza del día de San Valentín" (1967) o "El viaje" (1967), donde apareció acreditado solamente en calidad de guionista. La década de los setenta fue la de su consagración como intérprete. Fue nominado a la estatuilla dorada por "Mi vida es mi vida" (1970), de Bob Rafelson (ganaría George C. Scott por "Patton"), "El último deber" (1973), de Hal Ashby (el premio recaería en Jack Lemmon por "Salvad al tigre") y "Chinatown" (1975), de Roman Polanski (siendo el galardón para Art Cartney por "Harry y Tonto"), Finalmente, la obtuvo por "Alguien voló sobre el nido del cuco" (1975), la adaptación de la novela de Ken Kesey que dirigió Milos Forman. Los otros candidatos eran Walter Matthau por "La pareja chiflada", Al Pacino por "Tarde de perros", James Withmore por "Give 'em Hell, Harry!" (1975) y Maximilian Schell por "The Man in the Glass Booth".
Repitió Oscar como mejor secundario en 1983 por "La fuerza del cariño" (1983), imponiéndose a Charles Durning por "Soy o no soy", Sam Shepard por "Elegidos para la gloria", Rip Torn por "Los mejores años de mi vida" y John Litgow, su compañero de reparto en la citada "La fuerza del cariño". Curiosamente, no accedió a ningún galardón por sus títulos más populares de los ochenta: "El resplandor" (1980), de Stanley Kubrick y "El cartero siempre llama dos veces" (1981), de Bob Rafelson, donde compartía un tórrido romance con Jessica Lange, que daba vida al mismo personaje que Lana Turner en la versión de los años 40, dirigida por Tay Garnett y con John Garfield a cargo del papel principal. Otros trabajos de Nicholson fueron "Se acabó el pastel" (1986), de Mike Nichols, "Las brujas de Eastwick" (1987), de George Miller, "Al filo de la noticia" (1987), de James L. Brooks o "Batman" (1989), de Tim Burton. Posteriormente integró los repartos de "Algunos hombres buenos" (1992), de Rob Reiner, "Hoffa" (1992), de Danny DeVito, "Lobo" (1994), de Mike Nichols, "Cruzando la oscuridad" (1995), de Sean Penn, "Blood and Wine" (1996), de Bob Rafelson, "Mars Attacks" (1996), de Tim Burton o "Mejor... imposible" (1997), de James L. Brooks, que le reportó su tercera estatuilla, de nuevo como actor principal, superando a Matt Damon por "El indomable Will Hunting", Robert Duvall por "Camino al cielo (The Apostle)", Dustin Hoffman por "La cortina de humo" y a su íntimo amigo Peter Fonda por "El oro de Ulises". Ya en el nuevo milenio, ha destacado en “A propósito de Schmidt” (2002), de Alexander Payne e “Infiltrados” (2006), de Martin Scorsese.
Escena de la película "La fuerza del cariño"
Escena de la película "Mejor... imposible"
Escena de la película "Algunos hombres buenos"