Después de graduarse de la escuela secundaria, en respuesta al inicio de la Guerra Hispano–Estadounidense, Davis entró en el servicio militar el 13 de julio de 1898, como primer teniente temporal en la 8ª Infantería Voluntaria de los Estados Unidos, una unidad totalmente afroamericana. Este regimiento estuvo estacionado en Chickamauga Park, Georgia, desde octubre de 1898 hasta que la unidad fue disuelta en marzo de 1899. Durante la guerra, Davis sirvió brevemente en la Compañía D, 1er Batallón Separado de Washington D.C. Guardia Nacional.Davis fue reclutado el 6 de marzo de 1899, y el 18 de junio de 1899, se alistó como soldado raso en la Tropa I, 9º Regimiento de Caballería (uno de los regimientos originales de Soldados Búfalos), del Ejército Regular. En su puesto en Fort Duchesne, Utah, sirvió primero como empleado de la tropa y más tarde como sargento mayor del escuadrón hasta 1900. A finales de 1900, la unidad de Davis estaba comandada por el teniente Charles Young, el único oficial afroamericano que servía en el ejército estadounidense en ese momento. Young alentó la ambición de Davis de convertirse en oficial. Young enseñó a Davis todos los temas que se cubrían en el examen de candidato a oficial, especialmente matemáticas, que había sido el tema más difícil que Young había encontrado en la Academia Militar de los Estados Unidos en West Point. A principios de 1901 Davis pasó la prueba en Fort Leavenworth, Kansas, su puntuación más alta en la sección de matemáticas. (Un segundo afroamericano, John E. Green, pasó la prueba junto con otros 10 soldados. El 2 de febrero de 1901, Davis fue nombrado subteniente de Caballería en el Ejército Regular.
En la primavera de 1901, la Tropa I fue enviada al extranjero para servir en la Guerra Filipino–Estadounidense. En agosto de 1901, Davis fue asignado a la Tropa F, 10 de Caballería, donde asumió las funciones de segundo teniente. La Tropa F regresó a los Estados Unidos en agosto de 1902. Davis fue destinado en Fort Washakie, Wyoming, donde también sirvió durante varios meses con la Tropa M. En septiembre de 1905, fue asignado al tradicionalmente Black Wilberforce College en Ohio como Profesor de Ciencia y Tácticas Militares, un puesto que ocupó durante cuatro años.
En noviembre de 1909, poco después de ser enviado al Cuartel General del Regimiento, 9º de Caballería, Davis fue reasignado a Liberia. Dejó los Estados Unidos para ir a Liberia en abril de 1910, y sirvió como agregado militar informando sobre las fuerzas militares de Liberia hasta octubre de 1911. Regresó a los Estados Unidos en noviembre de 1911. En enero de 1912, Davis fue asignado a la Tropa I, 9.ª Caballería, estacionada en Fort D. A. Russell, Wyoming. En 1913, la 9. ª Caballería fue asignada a patrullar la frontera entre México y Estados Unidos.
En febrero de 1915, Davis fue asignado de nuevo al Wilberforce College como Profesor de Ciencia Militar y Táctica. De 1917 a 1920, Davis fue asignado al 9.º Escuadrón de Caballería en Fort Stotsenburg, Islas Filipinas, como oficial de suministros, comandante del 3. º Escuadrón, y luego del 1. º Escuadrón. Alcanzó el rango temporal de teniente coronel, pero regresó a los Estados Unidos en marzo de 1920 con el rango de capitán.
Davis fue asignado al Instituto Tuskegee Tradicionalmente Negro (ahora Universidad Tuskegee) en Tuskegee, Alabama, como profesor de ciencia militar y táctica de 1920 a 1924. Luego sirvió durante cinco años como instructor con el 2. º Batallón, Regimiento 372, Guardia Nacional de Ohio, en Cleveland, Ohio. En septiembre de 1929, Davis regresó a Wilberforce como profesor de ciencia militar y táctica. Fue asignado al Instituto Tuskegee a principios de 1931 y permaneció allí durante seis años como profesor de ciencia militar y táctica. Durante los meses de verano de 1930 a 1933, Davis escoltó peregrinaciones de madres y viudas de Estrellas de Oro de la Primera Guerra Mundial a los lugares de enterramiento de sus seres queridos en Europa.
En agosto de 1937, Davis regresó a la Universidad Wilberforce como profesor de ciencia militar y táctica. Davis fue asignado al Regimiento 369, Guardia Nacional de Nueva York, durante el verano de 1938, y tomó el mando del regimiento poco tiempo después. Davis fue ascendido a general de brigada el 25 de octubre de 1940, convirtiéndose en el primer oficial general afroamericano en el Ejército de los Estados Unidos.
IIEdit de la Guerra Mundial
Davis se convirtió en comandante general de la 4ª Brigada de Caballería, 2ª División de Caballería en Fort Riley, Kansas, en enero de 1941. Unos seis meses más tarde, fue asignado a Washington, DC, como asistente en la Oficina del Inspector General. Mientras servía en la Oficina del Inspector General, Davis también sirvió en el Comité Asesor sobre Políticas de Tropas Negras. De 1941 a 1944, Davis realizó visitas de inspección de soldados afroamericanos en el Ejército de los Estados Unidos. De septiembre a noviembre de 1942 y de julio a noviembre de 1944, Davis realizó visitas de inspección a soldados afroamericanos estacionados en Europa.
El 10 de noviembre de 1944, Davis fue reasignado a trabajar al mando del Teniente General John C. H. Lee como asistente especial del comandante general, Zona de Comunicaciones, Teatro de Operaciones Europeo. Sirvió en la Sección de Inspección General, Teatro de Operaciones Europeo (más tarde la Oficina del Inspector General para Europa) de enero a mayo de 1945. Mientras servía en el Teatro de Operaciones Europeo, Davis fue influyente en la política propuesta de integración utilizando unidades de reemplazo.