Es mejor conocido por sus obras de caridad, después de que su padre fundó la Universidad Rockefeller (entonces todavía conocida como el Instituto Rockefeller para la Investigación Médica) en 1901 y la Fundación Rockefeller en 1913, no menos a instigación suya. También apoyó la restauración de Williamsburg colonial en Virginia y donó 8,5 millones de dólares a las Naciones Unidas para comprar el terreno para su sede en la ciudad de Nueva York.
Como representante convencido del movimiento ecuménico, donó sumas considerables a instituciones protestantes y Bautistas a lo largo de su vida, incluido el Consejo Federal de Iglesias, el Seminario Teológico de la Unión, la Catedral de San Juan el Divino y la Iglesia de Riverside.En 1924, Rockefeller fue admitido en la Académie des Beaux-Arts como miembro extranjero. Desde 1931 fue miembro electo de la Sociedad Filosófica Americana.
Tenía un gran interés en la conservación y compró tierras para varios parques nacionales estadounidenses, incluidos el Parque Nacional Grand Teton, el Parque Nacional Acadia, el Parque Nacional Great Smoky Mountains, el Parque Nacional Yosemite y el Parque Nacional Shenandoah. En 1972, fue honrado póstumamente por el John D. Rockefeller Jr. Memorial Parkway entre el Parque Nacional Grand Teton y el Parque Nacional Yellowstone fue nombrado en su honor. Las montañas Rockefeller y la Meseta Rockefeller en la Antártida también llevan su nombre.