Основатель Высшей школы тренеров по боксу при Государственном центральном институте физической культуры.
Аркадий Георгиевич Харлампиев родился 29 января 1888 года в Смоленске. Его отец, Георгий Яковлевич Харлампиев, был известным гимнастом и кулачным бойцом — много лет собирал, изучал и классифицировал различные приёмы рукопашного боя, борьбы и самозащиты. Есть легенды о его силе: пальцами рвал трёхкопеечные монеты; остановил понесшую тройку лошадей (в экипаже которой находилась его будущая жена) и т. п.
С ранних лет Аркадий обливался холодной водой, подтягивался на импровизированном турнике, выполнял упражнения с ядром. Учился в Смоленской гимназии, где проявил склонность к рисованию. С отличием окончил Императорскую Академию художеств, после чего за государственный счёт был отправлен на продолжение обучения в Парижскую академию изящных искусств. Во Франции серьёзно занимался боксом, выступал на соревнованиях, в частности, по некоторым данным, выигрывал французское национальное первенство и первенство Европы среди профессионалов. Также в 1913 году становился чемпионом России по боксу.
Участвовал в Первой мировой войне. В годы войны прошёл школу прапорщиков, воевал на фронте, возглавлял команду разведчиков, командовал ротой. В одном из боёв оказался в бессознательном состоянии и попал в плен, но сумел бежать из немецкого лагеря для военнопленных во Францию, откуда впоследствии перебрался в Эстонию.
До 1921 года работал тренером в любительском боксёрском клубе в Таллине, стоял у истоков эстонской школы бокса. Подготовил здесь нескольких титулованных боксёров и тренеров, в их числе Нигуль Маатсоо, Валтер Ээнмаа, Херберт Кютт, Ханс Греэнбаум, Пеэтер Матсов и др.
Начиная с 1924 года преподавал бокс в Главной военной школе физического образования трудящихся в Москве. В период 1923—1925 годов возглавлял московскую секцию бокса физкультурно-спортивного общества «Динамо», первые боксёры-динамовцы большей частью являются его учениками, среди них К. Градополов, А. Лебедев, М. Петров. Тренировал выдающегося советского боксёра Николая Королёва, заслуженного мастера спорта СССР, девятикратного чемпиона СССР по боксу. В разное время его подопечными были такие титулованные боксёры как Леван Темурян и Николай Штейн.
Основатель Высшей школы тренеров по боксу при Государственном центральном институте физической культуры. Автор методических пособий по физической культуре, нескольких книг на спортивную тематику: «Атлетические игры» (1923), «Гимнастические игры» (1924), «Коллективный отдых в рабочем клубе: Забавы. Игры. Танцы. Хор» (1925).
Жена — Анна Трофимовна Харлампиева (1887—1969), сыновья — Анатолий и Георгий. Старший сын Анатолий Харлампиев — выдающийся советский мастер боевых искусств, один из создателей и пропагандист национальной борьбы самбо. Младший сын Георгий был известным в СССР альпинистом и музыкантом.
Умер 14 июня 1936 года. Похоронен на Новодевичьем кладбище в Москве.
А. Г. Харлампиеву посвящена документально-художественная повесть Э. А. Хруцкого «Этот неистовый русский» (1970).