当時、ミラージュIIIAの開発中であったダッソーでは、並行して双発の攻撃機を開発することとなったが、1956年11月に爆撃機としての方向性が固まり、まず、超音速巡航飛行による問題点を洗い出すため(当時、マッハ1.8以上の巡航速度で飛行する航空機は存在しなかった)、試験機ミラージュIV 01(Mirage IV 01)が製作される事となった。その任務の性格上ナビゲーターを伴うため複座機として開発されることとなった機体は、ミラージュIIIを複座化して拡大したような機体となり、ほぼ2倍の翼面積、機体重量、複座、双発、3倍の機内燃料を有する機体として完成した。試作機はパリ近郊の工場で18ヶ月を要して完成し、その構造・設計にはミラージュIIIに比べて、特に超音速飛行時の温度変化による金属の収縮・膨張に配慮された設計となっていた。
一方、ソビエト領内へ侵攻するには航続力が不足であるとして、1959年5月5日には、より大型の機体の開発がミラージュIV B(Mirage IV B)の計画名称で開始され、1961年6月1日の完成を目標に3機が発注された。この計画では、機体を更に2倍ほど大型化し、スネクマ社製アター9 ターボジェットに換えてプラット・アンド・ホイットニーのJ75(英語版)を使用する計画であったが、ライセンス生産によるエンジンの使用を回避するため、縮小型のミラージュIV A(Mirage IV A)計画が選択され、1959年9月にミラージュIV B計画は終了した。
ミラージュIV Aは、ミラージュIV 01を拡大することにより燃料搭載量を30%増加させた上で空中給油受油機構を追加した機体に、スネクマより提案された推力向上型のアター9D(後に9K)エンジンを組み合わせることから設計が開始された。同時に、航法装置及び核爆弾照準装置の開発も行われることとなった。まず、部分的な改良に留められたミラージュIV A 02(Mirage IV A 02)が1961年10月12日に飛行し、全面的に改良が反映されたミラージュIV A 03(Mirage IV A 03)と、推力5tのロケット12基によるRATO(噴射式離陸補助装置)にも対応した完成型ミラージュIV A 04(Mirage IV A 04)が後に続き、制式化される事となった。
1962年5月29日、50機の発注が行われた。11月4日には12機の発注が上積みされ、1963年12月に生産型の初飛行、1964年2月の納入と続き、10月には最初の飛行隊が編成された。合計62機のミラージュIV Aが1968年3月までに納入され、9個爆撃飛行隊(Escadrons de bombardement stratégique)と1個練習飛行隊(Escadrons d'entrainement)が編成された。
尚、ミラージュIV A 及び IV B はイギリス空軍が開発して後に計画が断念されたBAC TSR-2の代替機としてイギリスに提案されたが、イギリス側の要求する低空高速侵攻能力に乏しいとされ、選定考慮の段階で除外された。
ミラージュIV P
当初に計画されていた、マッハ1.85の快速を活かした高々度侵入による戦略爆撃機としての運用は、進出半径3,500kmを達成した。しかし、速度に頼った高高度侵入というコンセプトそのものが、既に地対空ミサイルの発達により自殺的な行為となっており、1966年には早くも電子技術の発達を反映して低高度侵入による運用へ切り替える方針が立てられたが、これによって速度・進出距離の双方が低下することとなった。更に、1970年代には低高度であっても無誘導爆弾による攻撃は危険性が高くなり、空対地巡航ミサイルASMPの開発と平行して、ASMPへの対応を含めた改造型ミラージュIV N、後に変更されミラージュIV P(Mirage IV P)となる型の開発が開始された。Pは、Pénétration stratégique(戦略侵攻型)の頭文字である。
ミラージュIVは長らく弾道ミサイル及び弾道ミサイル潜水艦と共にフランス核戦力(Force de Frappe)の三本柱を担ったが、基本設計の古さは否めず、また老朽化も進んでいたために、1996年、核兵器運用任務をミラージュ2000Nに引き継ぎ、残るミラージュIV Pは、全て偵察飛行隊(Escadron de Reconnaissance Stratégique)に転属された。当初の予定では偵察飛行隊もミラージュ2000Nに更新する予定であったが、搭載予定の新型偵察ポッドが間に合わず、暫定的にミラージュF1CRに引き継ぐ形で2005年6月23日に退役し、全ての機体が退役した。