Brown có bố là người Jamaica, mẹ là người Đức. Tay vợt này sinh ra ở Celle, Tây Đức. Thời thơ ấu, Brown tập chơi bóng đá, judo và bóng ném trước khi chuyển sang quần vợt năm tám tuổi. Năm 12 tuổi, gia đình Brown tới Jamaica định cư trước khi trở lại châu Âu vào năm 2004. Trong năm này, bố mẹ Brown tặng anh một chiếc xe tải để anh tự lái tham gia các giải quần vợt khắp châu Âu. Cuộc sống đây đó dần hình thành phong cách "bụi" của anh.