В 1924 rоду был сформирован Верховный суд Союза ССР, в состав которого входили: пленарное заседание, Гражданско-судебная, Уголовно-судебная, Военная и Военно-транспортная коллегии. 19 апреля 1924 года состоялось первое рабочее пленарное заседание. 

В 20-е годы Верховный суд СССР занимался в основном конституционными вопросами и разбором конфликтов в области юрисдикции. Рассмотрение им кассаций ограничивалось военным правосудием. До 1933 года Верховный суд СССР не имел отношений с республиканскими судами. Он не мог заслушивать апелляции, подаваемые этими судами или судами нижестоящих инстанций. К его юрисдикции относилась ограниченная сеть советских судов (военные трибуналы, а позднее линейные суды железнодорожного и водного транспорта).

В 1931 году Верховный суд СССР получил право производить проверку деятельности нижестоящих судов по поручению Президиума ЦИК СССР. Он расследовал работу судей во время сельскохозяйственных кампаний 1931 и 1932 годов. Ни результаты этих проверок, ни основанные на них постановления не были опубликованы. В отличие от Верховного суда РСФСР, Верховный суд СССР делал очень немного для того, чтобы бороться против злоупотреблений работников юстиции на местах. Главная причина этого заключалась в его ограниченной юрисдикции.

Председатель Верховного суда СССР А. Винокуров с сожалением высказывался по этому поводу. Он говорил, что «главный поток жизни проходит мимо Верхсуда Союза… последний по своей компетенции не может принять участия, как это нужно было бы, в содействии делу социалистического строительства, в борьбе с оппортунизмом…» В 1930 году Винокуров призывал к превращению Верховного суда СССР в союзное учреждение «по типу директивного органа» со всей полнотой власти над нижестоящими судами. Эта просьба была удовлетворена только в 1938 году.

Уже в 1920-е годы советское уголовное право предусматривало возможность того, что в случаях, когда злоупотребление служебным положением или халатность были допущены лицом «чуждого социального происхождения» с целью нанесения ущерба советской власти, его действия могли быть квалифицированы как политическое преступление, а именно как «вредительство» (статья 58-7). Однако эта статья УК применялась редко, частично из-за того, что суды требовали доказательств наличия злого умысла с целью причинения вреда государству, а также вредных последствий этих действий.

Обвинения во вредительстве стало легче проводить через суды после января 1928 года, когда Верховный суд СССР разъяснил (возможно, по приказу Сталина), что доказательство «контрреволюционного умысла» впредь не является необходимым для судебного преследования по обвинению во «вредительстве». Отныне было достаточно лишь доказать существование намерения совершить преступление. Внесение подобных изменений совпало по времени с началом сталинской кампании по преследованию и запугиванию «буржуазных специалистов».

C 1923 года на Военную коллегию Верховного суда было возложено руководство деятельностью всех военных трибуналов (ВТ) Союза, в список которых входили ВТ округа (фронта, отдельной армии), армии, корпуса и дивизии. Ей также предоставлялось право производить ревизии трибуналов, давать им руководящие указания и инструктировать по всем вопросам судебной практики. По согласованию с Реввоенсоветом СССР и республиканским НКЮ Военная коллегия руководила организацией новых и ликвидацией действующих военных трибуналов на территории СССР, а также назначением и увольнением судей всех ВТ союза.

Как суду первой инстанции ей были подсудны дела исключительной важности, но только по представлению Президиума ЦИК СССР или пленарного заседания Верховного суда СССР, а также дела «по персональной подсудности по особому списку, утвержденному Президиумом Центрального Исполнительного Комитета Союза ССР».

До 1926 года ВК ВС СССР была вправе возбуждать ходатайство перед Председателем Верховного суда СССР об опротестовании решений верховных судов союзных республик по приговорам военных трибуналов, если, по мнению Военной коллегии, эти решения «не соответствуют направлению карательной политики, необходимой для поддержания дисциплины в Красной Армии». Постановлением ЦИК и СНК СССР от 20 августа 1926 года было принято «Положение о военных трибуналах и военной прокуратуре», которое расширило возможности ВК, предоставив ей права кассационной инстанции для всех военных трибуналов (ранее такой инстанцией были Верховные суды союзных республик). Председателю Военной коллегии также было предоставлено право истребования дел из всех военных трибуналов для рассмотрения их в порядке надзора и право приостановления исполнения приговора по этим делам.

По положению 1926 года, система военных трибуналов оставалась прежней: военные трибунала округа (фронта, отдельной армии), армии, корпуса и дивизии. Порядок организации новых и ликвидации действующих военных трибуналов, назначения судей военных трибуналов и их увольнения также остался прежним. Изменился лишь порядок согласования с военным ведомством — вместо Реввоенсовета СССР стал действовать Народный комиссариат по военным и морским делам.

Юрисдикция военных судов в 20-е годы была значительно уже, чем в период Гражданской войны. Большинство дел о совершении общеуголовных преступлений даже военнослужащими подлежали рассмотрению не в военных трибуналах, а в общих судах страны. Дела гражданских лиц могли быть рассмотрены в военном трибунале лишь в случае преступлений, совершенных в местностях, где не действуют общие суды, а также если касались лиц, совершивших преступления вместе с военнослужащими, если дело о них нельзя было выделить в отдельное производство.