Am meisten ist er für seine wohltätigen Werke bekannt, nachdem sein Vater nicht zuletzt auf sein Betreiben 1901 die Rockefeller-Universität (damals noch als Rockefeller Institute for Medical Research) und 1913 die Rockefeller-Stiftung gegründet hatte. Außerdem unterstützte er die Restaurierung des kolonialen Williamsburg in Virginia und stiftete den Vereinten Nationen 8,5 Millionen US-Dollar, um das Grundstück für ihren Hauptsitz in New York City zu erwerben.
Als überzeugter Vertreter der ökumenischen Bewegung spendete er im Laufe seines Lebens beträchtliche Summen für protestantische und baptistische Institutionen, darunter die Federal Council of Churches, Union Theological Seminary, die Cathedral of Saint John the Divine und Riverside Church.
Im Jahre 1924 wurde Rockefeller als auswärtiges Mitglied in die Académie des Beaux-Arts aufgenommen. Seit 1931 war er gewähltes Mitglied der American Philosophical Society.
Er hatte ein starkes Interesse am Naturschutz und kaufte Land für mehrere amerikanische Nationalparks, unter anderem für den Grand-Teton-Nationalpark, Acadia-Nationalpark, Great-Smoky-Mountains-Nationalpark, Yosemite-Nationalpark und Shenandoah-Nationalpark. Im Jahre 1972 wurde er postum geehrt, indem der John D. Rockefeller Jr. Memorial Parkway zwischen Grand-Teton-Nationalpark und Yellowstone-Nationalpark nach ihm benannt wurde. Auch die Rockefeller Mountains und das Rockefeller-Plateau in der Antarktis tragen seinen Namen.