Né le 9 février 1917 à Tampinko dans une famille de cultivateur il fait des études de médecine et obtient son diplôme de médecin a Dakar en 1942 . Tirailleur sénégalais pendant la Seconde Guerre mondiale, Joseph Conombo est élu en 1948 conseiller de l'Union française, puis député de la Haute-Volta (1951-1958). Il devient ensuite secrétaire d'État à l'Intérieur du gouvernement Pierre Mendès France (du 4 septembre 1954 au 20 janvier 1955).

À partir de l'Indépendance de la Haute-Volta (Burkina Faso à partir de 1984), acquise en 1960, Joseph Conombo devient successivement :

• premier vice-président de l'Assemblée nationale voltaïque (1961),
• maire de Ouagadougou (1961-1965), capitale du pays,
• député (1970-)
• et ministre des Affaires étrangères (1971-1974).

Sa carrière culmine enfin par son accession au poste de Premier ministre de la Haute-Volta (du 7 juillet 1978 au 25 novembre 1980). À la suite d'un putsch militaire, il a été emprisonné pendant quatre ans et libéré en 1985. Il est à l'origine du jumelage de la commune de Illfurth en Alsace et de Kombissiri au Burkina Faso.