Олексій Семенович Козлов народився 13 жовтня 1935 року. Джазом захопився у дев’ять років. Збирав платівки, сам підбирав мелодії на фортепіано. Воно й не дивно, адже мама майбутнього саксофоніста працювала викладачем теорії музики.

Але джазменом він вирішив стати лише у дев’ятому класі, спостерігаючи за грою барабанщика Лаці Олаха у ресторані „Аврора”. Після школи, вступивши до Московського архітектурного інституту, він увійшов до складу місцевого ансамблю власне як барабанщик.

У підвалі того ж інституту Козлов випадково знайшов німецький трофейний саксофон і граючи на ньому, з 1957 року почав заробляти собі на прожиття.