Типичный случай, это когда критическая (перевальная) точка x_0 вырождена или очень близка к вырожденной, т.е. Hess(x_0 )~0. Для таких случаев есть целая теория. Основы этой теории и примеры, есть например в книге Федорюка "Метод перевала". На практике такие аномальные случаи встречаются очень часто, например при построении Масловских асимптотик в окрестности фокальных точек. К сожалению никаких общих методов не существует.
http://www.lib.prometey.org/?id=15504
http://sci-lib.com/book001062.html