Le origini della città (69.900 abitanti), che in altro modo viene chiamata la capitale della regione etnografica della Zucchia (lit.: Dzūkija), risalgono al XIV secolo, quando Alytus era ancora una fortezza difensiva in legno, situata su una montagna alla confluenza tra i fiumi Nemunas e Alytupis. Ad Alytus furono in seguito conferiti i diritti di città.
Ai tempi dell‘occupazione zarista della fine del XIX secolo, Alytus fu trasformata in città difensiva; si costruirono la strada statale e la ferrovia. Dei tempi in cui era una città-fortezza si sono conservate le cosiddette Caserme dell‘artiglieria costruite nel bosco, quella che all‘epoca era la chiesa della Guarnigione e il Parco delle caserme con le caserme di Saratov.
Gli orrori della seconda guerra mondiale sono ricordati da un obelisco che si trova nel cimitero dove sono seppelliti in massa i civili e i prigionieri di guerra, morti o uccisi nei boschi di Alytus. Nei boschi di Vidzgiris, nel periodo dell‘occupazione nazista, furono invece uccisi e sepolti circa 60.000 ebrei, la cui memoria è ricordata con un monumento di lutto posto sulla più alta delle montagnette commemorative e raffigurante la stella di David spezzata. Non si può mancare di visitare il Monumento alla Libertà (l‘Angelo della libertà), che decora il Vecchio parco della città; un monumento commemorativo è dedicato anche ai partigiani del distretto della Dainava, morti per l‘indipendenza della Lituania. Nel 1944 Alytus fece da base alla leggendaria squadriglia dell‘aviazione francese "Normandie – Niemen" (in lituano: Normandija – Nemunas, dove Nemunas è il nome attualmente usato in Lituania per indicare il fiume, altrimenti conosciuto anche come Niemen, Memel ed altri), che combatteva contro il fascismo.
Nella provincia di Alytus si trova il Parco nazionale della Zucchia (Dzūkija) e i Parchi regionali di Meteliai e dell‘ansa del Nemunas, splendidi per la natura ed i paesaggi, mentre nella Riserva di Žuvintas vivono innumerevoli specie di uccelli. In numerosi paesi etnografici del Parco nazionale della Zucchia abitano ancora vecchi artigiani. Dalle alture dove sorgevano i castelli di Merkinė, Liškiava e Punia si può godere di una splendida vista sul paesaggio circostante.
Gli abitanti della Zucchia sono persone allegre che amano cantare e il loro lamento funebre, così come le loro sutartinės (una sorta di canto popolare lituano a più voci), sono forme di canto uniche. Ogni anno il 15 di agosto, nella chiesa settecentesca di Pivašiūnai, dove è conservato il quadro miracoloso della Madre di Dio, ha luogo la famosa festa popolare della Vergine Maria assunta in cielo (l‘Assunzione – lit.: Žolinė).