È meglio conosciuto per le sue opere caritatevoli, dopo che suo padre fondò la Rockefeller University (allora ancora conosciuta come Rockefeller Institute for Medical Research) nel 1901 e la Rockefeller Foundation nel 1913, non da ultimo su sua istigazione. Ha anche sostenuto la restaurazione di colonial Williamsburg in Virginia e donato million 8,5 milioni alle Nazioni Unite per l’acquisto del terreno per la loro sede a New York City.
Come convinto rappresentante del movimento ecumenico, ha donato somme considerevoli alle istituzioni protestanti e battiste per tutta la sua vita, tra cui il Consiglio federale delle Chiese, il Seminario teologico dell’Unione, la Cattedrale di San Giovanni il Divino e la Riverside Church.
Nel 1924, Rockefeller fu ammesso all’Académie des Beaux-Arts come membro straniero. Dal 1931 fu membro eletto dell’American Philosophical Society.
Ha avuto un forte interesse per la conservazione e ha acquistato terreni per diversi parchi nazionali americani, tra cui il Grand Teton National Park, Acadia National Park, Great Smoky Mountains National Park, Yosemite National Park e Shenandoah National Park. Nel 1972, fu onorato postumo dal John D. Rockefeller Jr.Memorial Parkway tra il Grand Teton National Park e il Parco Nazionale di Yellowstone è stato intitolato a lui. Anche le montagne Rockefeller e l’altopiano Rockefeller in Antartide portano il suo nome.