Il predecessore dell'Haganah è stato l'HaShomer (Corporazione dei guardiani), fondato nel 1909, costituito da un gruppo di emigrati che sorvegliava gli insediamenti in cambio di una paga annua. Mai tale gruppo superò all'epoca i 100 membri. Dopo i moti palestinesi del 1920 e quelli del 1921, la leadership ebraica decise che i suoi agricoltori ed i suoi insediamenti avevano bisogno di protezione dagli arabipalestinesi. Essa pensava che i britannici non intendevano confrontarsi con gli arabi a proposito degli attacchi agli ebrei in Palestina. Il ruolo dell'Haganah era quindi quello di proteggere i kibbutz ebraici e le fattorie, prevenire i loro abitanti dagli attacchi arabi e respingere gli aggressori.
Nel periodo intercorrente tra il 1920 ed il 1929, l'Haganah mancava di una forte autorità centralizzata e di un accettabile coordinamento. Le "unità" dell'Haganah erano estremamente localizzate sul territorio, oltre che fornite di armamento assai approssimativo. Consistevano per lo più di agricoltori ebrei che, a turno, sorvegliavano le loro fattorie e i loro Kibbutzim. In seguito ai moti in Palestina del 1929, che portarono alla morte di 133 ebrei e 116 arabi e che condussero a una sorta di "pulizia etnica" di tutti gli ebrei della città di Hebron (con circa 70 morti e 500 ebrei costretti alla fuga), il ruolo dell'Haganah cambiò bruscamente. Essa divenne la più grande organizzazione, comprendente pressoché tutti i giovani e gli adulti degli insediamenti ebraici, come pure migliaia di abitanti delle città. Essa acquistò anche armamento straniero e cominciò a sviluppare officine per creare bombe a mano ed equipaggiamenti militari di base, finendo col trasformarsi da milizia non addestrata in esercito efficiente.
Nel 1936 l'Haganah mise in campo 10.000 uomini pronti alla mobilitazione, a fronte di 40.000 riservisti. Durante la Grande rivolta araba del 1936-1939, essa partecipò attivamente nell'opera di protezione degli interessi britannici e nel contrastare gli insorti arabi. Sebbene l'amministrazione britannica non riconoscesse ufficialmente l'Haganah, le forze di sicurezza britanniche cooperarono con essa nel formare una forza ausiliaria ebraica, la polizia degli insediamenti ebraici (Jewish Settlement Police) e speciali squadroni notturni (Special Night Squads). L'esperienza guadagnata sul campo nel piegare la Grande rivolta araba fu di grandissima utilità nella guerra arabo-israeliana del 1948.
Nel 1937, gli aderenti alla più importante branca di destra dell'Haganah dettero vita, ancora una volta, ad una loro struttura e formarono l'Irgun Zvai Leumi (Organizzazione Nazionale Militare), più semplicemente noto come "Irgun". Costoro erano scontenti della politica di cautela quando l'Haganah si trovava a fronteggiare britannici ed arabi. Nel 1940 dall'Irgun si separò il Lohamei Herut Israel (Combattenti per la libertà di Israele, o Lehi), forse più noto come "Banda Stern" dal nome del suo leader, che era contrario alla politica di collaborazione con i britannici stabilita da una tregua del 1940. L'Irgun ed il Lehi divennero ben noti per i loro metodi clandestini di combattimento, incluso l'impiego del terrorismo.
Per tranquillizzare gli arabi, i britannici restrinsero severamente l'immigrazione ebraica in Palestina nel 1939. Per tutta risposta l'Haganah cominciò ad organizzare l'immigrazione clandestina ed ad effettuare dimostrazioni contro i britannici. Per questo l'Haganah si avvalse dell'"Organizzazione per l'Immigrazione Illegale" (Aliyah Bet), che operò attraverso sue diramazioni in Svizzera e Turchia.
Partecipazione alla seconda guerra mondiale
Malgrado il Libro bianco del 1939 avesse fortemente irritato la leadership sionista in Palestina, David Ben Gurion, poi presidente dell'Agenzia ebraica, determinò quali dovessero essere le relazioni fra sionismo e Gran Bretagna: Combatteremo la guerra contro Hitler come se non ci sia stato alcun Libro Bianco, e combatteremo il Libro Bianco come se non ci fosse la guerra. L'Irgun tuttavia assunse una posizione ancor più estremistica a partire dal 1944 e cominciò a bombardare le installazioni britanniche.
Nei primi anni della seconda guerra mondiale le autorità britanniche chiesero all'Haganah di cooperare ancora, a causa del timore dello sfondamento militare dell'Asse in Nordafrica. Dopo che Rommel fu sconfitto nella seconda battaglia di El Alamein nel 1942, i britannici fecero marcia indietro riguardo al loro totale appoggio all'Haganah. Nel 1943, dopo una lunga serie di richieste e di negoziati, l'esercito di Sua Maestà annunciò la creazione della Brigata Ebraica. Mentre agli ebrei in Palestina era stato dato il permesso di arruolarsi nell'esercito britannico fin dal 1940, quella fu la prima volta in cui unità militari esclusivamente ebraiche operarono in guerra sotto una bandiera ebraica. La Brigata Ebraica consisteva di 5.000 soldati e fu dispiegata in Italia nel settembre 1944. La Brigata fu radiata nel 1946.
Complessivamente più di 30.000 ebrei in Palestina servirono nell'esercito britannico durante la guerra.
Il 19 maggio del 1941 l'Haganah creò il Palmach (acronimo per Plugot Mahatz - compagnia d'attacco), una sezione paramilitare che aveva come fine l'addestramento dei giovani. Non ebbe mai dimensioni ragguardevoli e nel 1947 esso contava solo cinque battaglioni (circa 2.000 uomini), ma i suoi membri ricevettero non solo un addestramento fisico e militare di base, acquisendo anche una capacità di comando che consentì loro di assumere posizioni di comando all'interno delle forze armate israeliane.
Il secondo dopoguerra
Dopo la guerra l'Haganah riprese le sue operazioni anti-britanniche in Palestina con la liberazione degli immigranti internati dal campo di Atlit, con attentati dinamitardi alle strutture ferroviarie del paese, col sabotaggio e con le incursioni ai danni delle installazioni radar e delle postazioni della polizia britannica. Essa continuò anche a organizzare l'immigrazione illegale.
Il 29 maggio 1948, meno di due settimane dopo la creazione dello Stato d'Israele avvenuto il 15 maggio, il governo provvisorio creò le forze di difesa israeliane (IDF) che avrebbero sostituito l'Haganah. Decretò anche fuori legge il mantenimento di qualsiasi altra forza armata. L'Irgun sfidò la decisione e ciò portò a un breve scontro tra Haganah ed Irgun. Infine l'Irgun consegnò il suo armamento e Menachem Begin trasformò la sua milizia in un partito politico, l'Herut.