//Вместо этого
static void MovePlayer(char[,] map, ref int pacmanPositionX, ref int pacmanPositionY, ConsoleKeyInfo pressedKey, char border)
{
    switch (pressedKey.Key)
    {
        case ConsoleKey.LeftArrow:
            ChangePosition(map[pacmanPositionY, pacmanPositionX - 1], ref pacmanPositionX, false, border);
            break;

        case ConsoleKey.RightArrow:
            ChangePosition(map[pacmanPositionY, pacmanPositionX + 1], ref pacmanPositionX, true, border);
            break;

        case ConsoleKey.UpArrow:
            ChangePosition(map[pacmanPositionY - 1, pacmanPositionX], ref pacmanPositionY, false, border);
            break;

        case ConsoleKey.DownArrow:
            ChangePosition(map[pacmanPositionY + 1, pacmanPositionX], ref pacmanPositionY, true, border);
            break;
    }
}

//Сделайте вот это (Написал примерно, корректируйте под свой код, надеюсь помогло навести на мысли)
static void MovePlayer(char[,] map, ref int pacmanPositionX, ref int pacmanPositionY, ConsoleKeyInfo pressedKey, char border)
{
    switch (pressedKey.Key)
    {
        case ConsoleKey.LeftArrow:
            pacmanPositionX--;
            break;

        case ConsoleKey.RightArrow:
            pacmanPositionX++;
            break;

        case ConsoleKey.UpArrow:
            pacmanPositionY--;
            break;

        case ConsoleKey.DownArrow:
            pacmanPositionY++;
            break;
    }

    ChangePosition(map[pacmanPositionY, pacmanPositionX], ref pacmanPositionX, false, border);
}