Der Braune geht einem, wenn man im wörtlichen Sinne "Schiss", also Angst hat.
A.: "Komm, lass uns lieber umkehren!" B.: "Wie? Geht dir schon der Braune?"