Как бы вы сделали спуск к речке на глинистой почве, чтобы ступени не съезжали - пробовал закладывать кирпичами, в дождь все разъезжаются?

Рекомендую более обстоятельно подойти к решению данного вопроса и сделать основательную конструкцию. Например из сосновых досок или брёвен, которые нужно прочно зафиксировать в грунте. Каркас лучше взять металлический сварной и прочно забить его в грунт сделав под него дренаж.

Разъезжаются потому что, нужно было положить основу из гравия толщиной где0то 5 см или щебенки толщиной 20-30 см. К тому же если у вашей лестницы более 5-ти ступеней, то рекомендуется нижнюю ступень (чтобы лестница не сползла) уложить на бетонный фундамент который должен находиться на глубине 80 см.