Датой основания Харьковского зоологического сада принято считать 1896 год, когда на площади два гектара, арендованной у Университетского сада, была организована выставка домашних животных и птиц.
Позднее экспозиция пополнялась дикими животными, которых доставляли в Харьков жители окрестных сёл. Затем на территории выставки была создана «шелководня» и расположилась пасека пчеловодческого общества. Организатором и первым директором был профессор зоологии Харьковского университета Александр Фёдорович Брандт.В 1911 году Южно-Русское Общество акклиматизации решило устроить в Харькове зоосад, подобный московскому. На средства Общества были построены зимние помещения и летние вольеры, закупались дикие животные и птицы, часть которых прибыла из заповедника Аскания-Нова.
До революции зоопарк содержался на деньги Общества акклиматизации и Харьковской городской думы. Но выделяемых денег катастрофически не хватало.
Члены Общества акклиматизации обратились через газету «Южный край» к общественности с просьбой пожертвовать зоосаду хотя бы по пять рублей с человека, обещая объявить благодетеля пожизненным членом Общества.Во время Гражданской войны зоосад был разорён.
В 1921 году зоосад начали приводить в порядок — ремонтировались постройки и вольеры, высаживались декоративные, медоносные, лекарственные и технические растения, восстанавливалась экспозиция животных.
В мае 1922 года столичный Харьковский зоо-, чаще называвшийся уже -парк, был опять открыт для посетителей. Входной билет стоил сто тысяч рублей совзнаками по курсу весны 1922 года. Все вырученные деньги шли на пополнение и расширение коллекции и благоустройство зоопарка.
К 1930-м годам территория зоопарка составляла 22 гектара, как и сейчас.
В 1928 году из веймарской Германии в Харьков прибыл целый железнодорожный эшелон с животными, среди которых были лев, леопард, лама, кенгуру, мангусты, обезьяны, попугаи, белощёкие казарки и многие другие.
Из Закавказья доставили лебедей, пеликанов и ещё около ста видов водоплавающей птицы.
В овраге построили пруд площадью 2400 квадратных метров для гусей, лебедей, фламинго и прочей водоплавающий живности.
В 1930-х в зоопарке построили «горную вольеру» — озеленённый участок с искусственными горками, где в условиях, наиболее приближённых к природным, жили туры, джейраны, муфлоны. Были также построены слоновник, обезьянник, птичник, загоны для копытных. Перед войной в зоопарке насчитывалось свыше пяти тысяч животных.
В 1924 году директором зоопарка стал Николай Петрович Эвальд.
Великая Отечественная война
Монумент, посвященный спасшимся и погибшим животным в годы Великой отечественной войны
Немецкие войска захватили Харьков 23-24 октября 1941 года. Животные сильно страдали от бомбёжек, от голода, а перед вступлением нацистов в город были открыты некоторые вольеры.
Николая Петровича Эвальда вызвали к представителю управления заповедниками, зоопарками и зоосадами Совнаркома Украины и предложили остаться в оккупированном Харькове, чтобы попытаться сохранить животных. Эвальд согласился, попросив, чтобы зоопарку на первое время дали некоторый запас кормов.
Существует городская легенда, что с декабря 1941 зоопарковые обезьяны, сбежав из зоопарка, жили в разрушенном здании Госпрома. Три макаки-резуса чем-то питались, не попадались на глаза немцам почти два года и пережили оккупацию.
В ноябре-декабре 1941 года на улице Сумской в подъезде многоэтажного жилого дома, держа голову между лестничными пролётами, пытался греться в неотапливаемом доме зоопарковый жираф, которого жители, сами голодные, кормили чем могли. Впоследствии жирафа застрелил немецкий солдат.
На 1 января 1942 года в зоопарке оставались ламы, гиены, бурые и белые медведи, динго, морские свинки, дикие кабаны, нанду, эму, попугаи, фазаны золотой и кавказский, олени, лани, верблюды, зебу, пони, ослы, канарейки, кролики и куры, которых разводили на продажу.
1 мая 1942 года, с улучшением положения на фронте для немцев, зоопарк был открыт для посетителей и пользовался большой популярностью у населения: входной билет стоил дёшево, по воскресеньям играл оркестр и даже оставались живы белые медведи.
Часть оставшихся животных немцы в середине августа 1943 года, после своего поражения под Белгородом, застрелили, как на охоте. Часть животных погибла от голода, поскольку их не кормили.
Помимо исчезновения фауны, немцы нанесли огромный ущерб постройкам зоопарка.
На момент освобождения, 23 августа 1943 года, в зоопарке уцелели четыре медведя, пять обезьян и один волк. Погибло более пяти тысяч особей животных.
