Происхождение Азова весьма древнее; он построен был греками, и выгодное его положение привлекло сюда обширную торговлю. За 115 лет до н. э. Азов был завоеван Митридатом Понтийским; затем по очереди им владели сарматы, гунны, хазары и печенеги.

Предположительно, в конце Х века он подпал под власть Владимира I, отдавшего его вместе с Тмутараканью в удел сыну своему Мстиславу; а около 1067 года покорён половцами и получил нынешнее свое название — Азов.

Перейдя к генуэзцам (XIII век), Азов стал перевалочно-складским пунктом для их индокитайской торговли. Генуэзцы укрепили его каменными стенами и башнями. В 1395 году Тамерлан овладел городом, срыл его до основания, и хотя генуэзцы в 1400 году возобновили его, но уже далеко не в прежнем виде.

В 1471 году город взят турками: и с этого времени вследствие запрещения европейским судам входить в Чёрное море, особенно же вследствие открытия морского пути в Индию, торговля в Азове пришла в совершенный упадок, и он обратился в незначительную турецкую крепость, у гарнизона которой завязалась непрерывная борьба с донскими казаками. Последним крепость эта была особенно ненавистна, потому что препятствовала выходу их в Азовское море для торговли и набегов. В июне 1637 года донцы, подкрепленные частью запорожцев, ушедших от польских притеснений, взяли крепость и не оставили в ней живым ни одного человека. Из Азова казаки совершили целую серию рейдов на Черном море, наведших страх на Стамбул и вызвавшие безуспешную осаду Азова турками в 1641 году (Азовское сидение). После этого казаки предложили русскому правительству принять Азов под свою власть, но оно было не готово к войне с Турцией и ответило отказом.

В 1642 году донцы, видя трудность удерживать Азов собственными силами, сами оставили эту крепость, предварительно уничтожив все фортификационные сооружения, и она опять перешла во власть визиря Кара-Мустафы.

В 1695 году Пётр Великий осаждал Азов, но безуспешно; однако на следующий год при содействии созданной им Азовской флотилии овладел крепостью (см. Азовские походы). После неудачной Прутской кампании она опять перешла к туркам. Во время русско-турецкой войны 1735—1739 крепость была в 1736 взята войсками генерала Ласси и по Белградскому миру 1739 уже навсегда осталась за Россией.

В 1775 году Азов сделан административным центром новоучрежденной Азовской губернии. В 1782 году, по переводе губернского управления в Екатеринославль, Азов переименован опять в крепость, 31 марта 1810 года — в посад Ростовского уезда Екатеринославской губернии, а в 1888 году присоединен к Области Войска Донского и передан под казачье управление.

В конце XIX века в посаде имелась 4-классная мужская прогимназия, а также женское и мужское училище, торговля значительно упала в связи с развитием Ростова-на-Дону. В 1926 Азов вновь получает статус города.