Un ejemplo de cómo testear un item del menu

PressMenuItem.java

 @Test
    public void testActionButtonSettings() {

        // Con esta función abrimos el popup menu
        openActionBarOverflowOrOptionsMenu(InstrumentationRegistry.getTargetContext());
        // Buscamos el elemento que contenga la cadena que buscamos,
        // verificamos el tipo de componente raíz y pulsamos
        onData(
                hasToString(is(
                        activityTestRule.getActivity().getString(R.string.action_settings)
                )))
                .inRoot(isPlatformPopup()).perform(click());

        onData(hasToString(is(
                activityTestRule.getActivity().getString(R.string.pref_locationDialogTitle)
        ))).perform(click());
    }