자문 자답입니다.

혹시 다른 분들도 같은 문제가 생길 수 있으니 참고로 남겨둡니다.

아래 코드를 테마의 functions.php 파일 추가하세요:

add_action( 'admin_init', 'redirect_admin_profile_to_custom_page' );

function redirect_admin_profile_to_custom_page() {
    if ( strpos( $_SERVER['REQUEST_URI'], 'profile.php' ) !== false && !defined( 'DOING_AJAX' ) ) {
        wp_redirect( home_url( '/profile/' ) );
        exit;
    }
}