Аба Ковнер народився в Ошмянах (за іншими даними, в Севастополі) 14 березня1918 році в родині аптекаря. У 1926 році сім'я переїхала до Вільна, де він закінчив місцеву гімназію з викладанням на івриті. Там же вступив у єврейську організацію Ха-шомер ха-цаїр. Вивчав пластичні мистецтва.
У січні 1942 року у вільнюському гетто була створена «Об'єднана партизанська організація» (Fareinikte Partisaner Organizatzie), яку очолювали Іцік Вітенберг, Йосипом Глазман і Абба Ковнер. Її цілями були проголошені організація масової самооборони гетто, саботаж, приєднання до партизанів і Червоної армії[5].
Після того, як 15 липня1943 року Іцік Вітенберг був вимушений здатися німцям під загрозою знищення усього гетто, Абба Ковнер став керівником підпілля[6].
У вересні 1943 під час ліквідації гетто Ковнер з декількома бійцями пішов в Рудникські ліса, де створив під своїм командуванням єврейський партизанський загін, в який входили бійці з вільнюського гетто і бригада «Некама» («Помста»). У загоні Ковнер познайомився зі своєю майбутньою дружиною — Віткою Кемпнер (нар. 1920).
Після війни організував групу месників, яка знищувала нацистів в Європі, цією групою було убито близько 400 чоловік. Працював в організації «Бріха», яка займалася відправкою євреїв до Палестини.
Наприкінці 1945 року нелегально приїхав у Палестину, але був заарештований британською владою і поміщений у в'язницю в Каїрі. Після звільнення знову приїхав у Палестину і вступив в кібуц Ейн-ха-Хореш.
Під час Війни за незалежність воював у складі бригади Гіваті, редагував щоденний бойовий листок бригади.
У 1961 році Абба Ковнер виступав свідком на суді у справі нацистського злочинця Адольфа Ейхмана. Він сказав, що уперше дізнався про роль Ейхмана в знищенні євреїв у 1941 році від страченого згодом за допомогу євреям фельдфебеля вермахту Антона Шміда.
Поезія А. Ковнера присвячена Катастрофі європейського єврейства і боротьбі єврейського народу за незалежність в Ерец-Ісраель. Збірку прози «Книга свідчень» розповідає про долю партизан на території Литви. Був головою Союзу письменників Ізраїлю, один із засновників Музею пам'яті Морддехая Анелевича і Музею Діаспори.
У 1983 році разом з Синаєм Лайхтером і Аароном Віньковецьким започаткував багатотомний проект збору і публікації єврейських народних пісень на ідиші під егідою Єврейського університету в Єрусалимі (всього вийшло 7 томів). Абба Ковнер — двоюрідний брат ізраїльського політика-комуніста Меїра Вільнера.