Дворянство Екатеринославской губернии еще в 1859 году подняло вопрос об открытии в городе женского учебного заведения — аналога мужской гимназии. Время было, так сказать, перестроечное, Россия ждала больших реформ, так что вопрос был поднят вовремя. Однако рутина отсрочила решение вопроса на целых пять лет. Немало времени ушло и на то, дабы перестроить подаренное городу учителем латинского языка Андреем Понятовским двухэтажное здание, завещанное для женского учебного заведения. Находилось это здание на Троицкой площади напротив одноименного собора.
Женское училище первого разряда (так поначалу называлась Мариинская гимназия) открылось в Екатеринославе в 1865 году. По своей программе оно приближалось к программе мужской гимназии и, что также немаловажно, было всесословным. То есть учрежденное дворянством училище могло принять на учебу дочек и чиновника, и священника, и даже разночинца. Это было существенное демократическое завоевание послереформенной эпохи. Дворянство пожертвовало на это учебное заведение свыше 31 тысячи рублей.
В 1865 году училище было переименовано в Мариинскую гимназию — от имени императрицы Марии Александровны, супруги Александра ІІ, которая была попечительницею женского образования. И, наконец, в 1871 году гимназия окончательно утвердилась в своем статусе — после того как в ней открылся 8 класс. Ее выпускницы могли работать домашними наставницами или домашними учительницами.
Как свидетельствуют документы той поры, в 1886–87 учебном году в женской гимназии уже обучалось 458 учениц. Добрую половину составляли дочери дворян и чиновников. Остальные были детьми почетных граждан и купцов, мещан и священнослужителей. В этом и выражалась всесословность гимназии.
Начальницей женского училища, преобразованного затем в Мариинскую гимназию, стала Александра Рындовская, которой было суждено в течение 40 лет возглавлять это учебное заведение. Ее не станет 4 января 1905 года. И вскоре появится книга “Памяти Александры Акимовны Рындовской” — настоящий памятник этой ревнительнице женского образования в Екатеринославе. Она содержит немало ценных материалов по истории возглавляемой ею гимназии.
А вот мнение авторитетного украинского ученого Ивана Акинфиева, долгих 18 лет проработавшего в Мариинской гимназии: все, что делалось в городе по просвещению в эти годы, зарождалось в кабинете Александры Акимовны в осенние вечера. А приводилось в исполнение в декабре или в следующие зимние месяцы, чаще всего в течение великого поста.
В начале 1881–82 учебного года по инициативе начальницы женской гимназии в Екатеринослав приехал барон Николай Александрович Корф — известный русский педагог и методист, прогрессивный деятель народного образования, организатор начальных земских школ у нас на Екатеринославщине. Он был родственником Рындовской и незадолго перед тем возвратился в Россию из Швейцарии, где находился в добровольном изгнании в течение 8 лет. Корф страстно говорил о том, что тогда волновало светлые умы России. Он утверждал, что средняя школа не имеет права обвинять семью и общество в печальных явлениях, если желает стоять выше них и пользоваться лучшей оценкой в результатах своей работы.