Dal punto di vista geologico il territorio di Carbonia è caratterizzato da diverse litologie che conferiscono al paesaggio caratteristiche peculiari uniche in Sardegna. 
L'orografia è caratterizzata da rilievi montuosi di modesta elevazione con un massimo di 492 mt. s.l.m. del monte di S.Michele Arenas.
Nel territorio comunale sono presenti rocce con caratteristiche petrografiche e strutturali molto varie, con età che nel complesso ricoprono un arco di tempo maggiore di 500 milioni di anni. Queste testimoniano gli eventi geologici che si sono susseguiti in Sardegna e che sono così ben rappresentati nel Sulcis, attraverso la ricchezza di resti fossili perfettamente conservatisi fino ai giorni nostri.
Le aree poste ad Est e a Nord della città sono occupate da rocce paleozoiche formanti un semicerchio che delimita il bacino di Carbonia: le litologie sono rappresentate da calcari e arenarie del Cambriano (570 Milioni di anni) spesso molto fossiliferi. I fossili più comuni, rappresentati da Archeociatine (organismi con caratteristiche di passaggio tra i coralli e le spugne) e Trilobiti (crostacei): sono fra i più antichi d'Europa così da essere continuo oggetto di ricerca da parte di numerosi paleontologi e studiosi provenienti da tutto il mondo.
Q uesta parte di territorio presenta un aspetto paesaggistico del tutto particolare, tipico del Carso, con assenza di acque superficiali e abbondante presenza di cavità carsiche di notevole interesse dal punto di vista morfologico e mineralogico. Di particolare rilevanza è la grotta di "Corona sa Craba" una delle pochissime cavità in cui si possono rinvenire particolari concrezioni di barite azzurra. Il paesaggio legato alle rocce carbonatiche si presenta con dei rilievi quasi sempre ricoperti da macchia mediterranea, caratterizzati da superfici molto irregolari, rilievi aspri e tormentati che entrano in contrasto con le restanti aree interne al territorio comunale.
I settori occidentali e meridionali sono caratterizzati dalla presenza di una copertura vulcanica prevalentemente di natura ignimbritica risalente all'Era Terziaria (Oligo-Miocene 26 Milioni di anni), originatasi durante la fase di rotazione antioraria della Sardegna e della Corsica (dopo il distacco dalle coste franco-spagnole), che ha portato all'attuale dislocazione delle due principali isole del mediterraneo. Queste rocce fanno parte delle formazioni cenozoiche tipiche del Sulcis, con basalti ed andesiti alla base a cui fanno seguito superiormente le rocce ignimbritiche (con età che vanno dai 28 agli 11 milioni di anni) per uno spessore di 500 mt.
Anche questa parte del territorio è caratterizzata dalla presenza di numerose piccole cavità , definibili grotte, che devono la loro singolarità al fatto di essere, contrariamente a quelle di origine carsica, contemporanee alla formazione delle rocce nelle quali esse stesse si aprono. Su queste rocce gli agenti atmosferici hanno creato, durante alcuni milioni di anni, delle forme molto originali dette Tafonature.
Al di sotto di questa copertura vulcanica, con alcuni tratti affioranti nei pressi di Bacu Abis, si trova il più importante bacino carbonifero italiano. I giacimenti di carbone risalenti all'Eocene (54 Milioni di anni) furono notati per la prima volta da Alberto La Marmora nel 1857.
Nel bacino lignitifero, formato da strati di calcari, argille e spessi livelli di carbone, si trovano spesso resti di palme fossili e di foraminiferi (Alveoloine e Miliolidi).
Per quanto riguarda l'era Quaternaria si ritrovano sia depositi di origine marina, caratterizzata da una fauna fossile a molluschi (gasteropodi) tipici di mare caldo, sia di origine continentale. A questo periodo sono riferibili tutti i depositi alluvionali situati ad ovest della città, formatisi dal disfacimento e disgregazione delle precedenti formazioni geologiche affioranti nel territorio. Caratteristiche sono le dune fossili risalenti al periodo interglaciale Riss - Wurm di Fontana Morimenta, al confine tra il comune di Carbonia e il comune di Gonnesa, dove sono stati ritrovati importanti resti fossiliferi di Elefante nano ( Elephas melitensis, alto appena 1.40 mt.). Sempre all'interno delle dune fossili si ritrovano anche resti di cervidi (Megaceros Cretensis) e vari tipi di rettili.