na zijn afstuderen aan de middelbare school, als reactie op het begin van de Spaans-Amerikaanse Oorlog, ging Davis in dienst op 13 juli 1898, als een tijdelijke eerste luitenant in de 8th United States Volunteer Infantry, een all-Afro-Amerikaanse eenheid. Dit regiment was gestationeerd in Chickamauga Park, Georgia, van oktober 1898 tot de eenheid werd ontbonden in maart 1899. Tijdens de oorlog diende Davis kort in compagnie D, 1st Separate Battalion of the Washington D.C. Nationale Garde.Davis werd op 6 maart 1899 verdreven en op 18 juni 1899 nam hij dienst als soldaat in Troop I, 9th Cavalry Regiment (een van de oorspronkelijke Buffalo Soldier regimenten), van het reguliere leger. Op zijn post in Fort Duchesne, Utah, diende hij eerst als de troop ‘ s clerk en later als squadron sergeant-majoor tot 1900. Eind 1900 stond Davis onder bevel van luitenant Charles Young, de enige Afro-Amerikaanse officier in het Amerikaanse leger. Young moedigde Davis ‘ ambitie aan om officier te worden. Young tutored Davis in alle onderwerpen die werden behandeld in de officer candidate test, vooral wiskunde, die het moeilijkste onderwerp Young had ontmoet op de United States Military Academy in West Point was geweest. In het begin van 1901 slaagde Davis voor de test in Fort Leavenworth, Kansas, zijn hoogste score komt in de wiskunde sectie. (Een tweede Afro-Amerikaan, John E. Green, slaagde voor de test samen met 10 andere soldaten. Op 2 februari 1901 werd Davis benoemd tot tweede luitenant van de cavalerie in het reguliere leger.in het voorjaar van 1901 werd troep I naar het buitenland gestuurd om te dienen in de Filippijns–Amerikaanse Oorlog. In augustus 1901 werd Davis toegewezen aan Troop F, 10th Cavalry, waar hij de taken van een tweede luitenant op zich nam. Troop F keerde terug naar de VS in augustus 1902. Davis werd vervolgens gestationeerd in Fort Washakie, Wyoming, waar hij ook diende voor enkele maanden met Troop M. In september 1905, werd hij toegewezen aan de traditioneel Black Wilberforce College in Ohio als Professor in militaire wetenschap en tactiek, een functie die hij vervulde voor vier jaar.in November 1909 werd Davis, kort nadat hij naar 9th Cavalry was gestuurd, overgeplaatst naar Liberia. Hij verliet de Verenigde Staten naar Liberia in april 1910 en diende als militair attaché over de strijdkrachten van Liberia tot oktober 1911. Hij keerde terug naar de Verenigde Staten in november 1911. In januari 1912 werd Davis toegewezen aan Troop I, 9th Cavalry, gestationeerd in Fort D. A. Russell, Wyoming. In 1913 werd de 9th Cavalry toegewezen aan de Mexicaans-Amerikaanse grens.in februari 1915 werd Davis opnieuw toegewezen aan het Wilberforce College als hoogleraar militaire wetenschap en tactiek. Van 1917 tot 1920 werd Davis toegewezen aan de 9th Cavalry op Fort Stotsenburg, Philippine Islands, als bevoorradingsofficier, commandant van het 3rd Squadron, en vervolgens van het 1st Squadron. Hij bereikte de tijdelijke rang van luitenant-kolonel, maar keerde in maart 1920 terug naar de Verenigde Staten met de rang van kapitein.Davis werd aangesteld aan het traditioneel Black Tuskegee Institute (nu Tuskegee University) in Tuskegee, Alabama, als hoogleraar militaire wetenschap en tactiek van 1920 tot 1924. Daarna diende hij vijf jaar als instructeur bij het 2nd Battalion, 372nd Regiment, Ohio National Guard, in Cleveland, Ohio. In september 1929 keerde Davis terug naar Wilberforce als hoogleraar militaire wetenschap en tactiek. Hij werd aangesteld aan het Tuskegee Instituut in het begin van 1931 en bleef daar zes jaar als hoogleraar militaire wetenschap en tactiek. Tijdens de zomermaanden van 1930 tot 1933 begeleidde Davis pelgrimstochten van Gouden Ster moeders en weduwen uit de Eerste Wereldoorlog naar de begraafplaatsen van hun dierbaren in Europa.in augustus 1937 keerde Davis terug naar de Wilberforce Universiteit als hoogleraar militaire wetenschap en tactiek. Davis werd toegewezen aan het 369th Regiment, New York National Guard, in de zomer van 1938, en nam het bevel over het regiment een korte tijd later. Davis werd gepromoveerd tot brigadegeneraal op 25 oktober 1940 en werd de eerste Afro-Amerikaanse generaal in het Amerikaanse leger.
