Город основан в 1583 году как острог Козьмодемьянский. Название связывают с тем, что место для будущего укрепления было выбрано в день, когда православная церковь отмечает память мучеников Космы и Дамиана (в просторечии Козьмы и Демьяна). С 1781 года — уездный город Козьмодемьянск. До основания острога на его месте находилось чувашское селение Чикмехола — «пограничный город» (чувашское чике — «граница», хола, искажённое хула — «город»). В быту население Горномарийского района до сих пор называет Козьмодемьянск словом «хала», жители города используют название «Кузьма».