User +502

Почему нельзя поставить код 404?
Примитивная задача.
Как решение, проверьте есть ли внешние ссылки на такие страницы и измените на новые - https://ru.megaindex.com/backlinks?from=264.

Да, 301-ый редирект в вашем случае оптимальный вариант.
Если 301-ый редирект ведет на тематическую страницу, то нет проблем.
Вы проверяли код ответа, действительно ли выдается 301?
В данном случае следует проверить по логам, посещал ли краулер такие страницу.

API работает также, как работает Google Search Console.
Способы описанные выше обычно помогают. Я их использовал, у меня никаких проблем не было. В случае проблем я бы обратился в Google.

Вы уверенны, что в вашем случае нет никаких ссылок на страницы, а краулер продолжительное время, например 3 месяца, ходит по таким ссылкам?
Вы использовали главные способы, которые описаны в статье?
Если на оба вопроса ответ да, то есть смысл продолжать. Практика показывает, что если все советы применяются, то результат есть. Так на моих сайтах.

Спасибо за отклик!

На счет темы масок, речь про регулярные выражения. В файле допускаются спецсимволы * и $. Таким образом задаются определенные регулярные выражения.

Да. Ранее не сайта можно было использовать директиву для запрета индексации noindex.
Пример - https://www.imd.org/robots.txt

Ранее в robots.txt была директива noindex. Теперь не поддерживается.
Disallow поддерживается.

Да, директива noindex выполняется, если использовать на использовать метатег.

Если исключить страницу из индекса требуется с гарантией, то следует использовать код ответа сервера 404, 410.

Ранее директива noindex была доступна и использовалась в файле robotstxt на практике.