Hivzija je rođen u Mojstiru kod Tutina, a živio i radio na Kosovu..
Od 1925. do 1933. godine učenik Velike medrese, kada je i počeo da piše literarne radove i da ih objavljuje u književnom časopisu »Vesnik« i »Almanah« za južnu Srbiju. Pripadao prvoj marksistickoj grupi u Velikoj medresi od 1932. godine. Studirao medicinu na Beogradskom univerzitetu, gdje je bio aktivan član studentskog antifašistickog pokreta.
Po odobrenju Josipa Broza radio na specijalnim poslovima za potrebe Crvene armije. Bio je povezan sa Mustafom Golubićem. Jedan je od prvih literarnih stvaralaca na albanskom jeziku. Objavio je nekoliko romana. Nosilac je nagrade AVNOJ-a.
Po svom porijeklu je Bošnjak (otac iz Bihaća, majka iz Ribereva u Sandžaku). Srodio se sa albanskim narodom na Kosovu i njemu posvećivao svoja stvaralacka djela.
