Das Variszische Gebirge mit karbonischen Kristallingesteinen ist der Ursprung vieler europäischer Mittelgebirge, so auch der Rhön. Nach Absenkung dieses Gebirges lag das jetzige Gebiet der Rhön mitten im Germanischen Becken. Damals wurden auch die Kalisalze abgelagert, die auch noch heut abgebaut werden. Im Trias lagerten sich dann die flächenbildenden Buntsandgesteine und Muschelkalke ab. Die Bergrücken der heutigen Landschaft bestehen aus Muschelkalken der Trias. Die Bedingungen der Sedimentation waren sehr wechselhaft, deshalb sind auch nur kleinflächige Ablagerungen von Keupergesteinen anzutreffen.
Die „Rhön-Schwelle“ war im Jura dann einer Hebung ausgesetzt und die durch Erosion verursachte Abtragung der älteren Sedimente nahm von nun an ihren Lauf. Später, vor nunmehr 25 000 000 Jahren begann eine lang anhaltende Phase von Vulkanismus. Die Vulkankegel prägen auch noch heute das charakteristische Bild der Landschaft. Der Vulkanismus der Rhön stand in unmittelbarem geologischen und zeitlichen Zusammenhang mit der Entstehung der Oberrhein-Grabens. Dieser Vulkanismus förderte Vulkanite wie Basalte und Phonolithe. Diese abgelagerten Produkte lassen den Schluss zu, dass es sich hier um einen äußerst explosiven Vulkanismus gehandelt haben muss. Der gleichzeitig ablaufenden Alpenhebung wird ein entscheidender Einfluss auf die hohe Explosivität des Vulkanismus der Rhön zugeschrieben. Neben Phonolit und Basalt sind noch andere Vulkanite, nämlich Trachyte, Tephrite, Andesite, Hornblendebasalte, Basanite, Tuffe und Olvinbasalte vertreten. Die Hohe Rhön mit ihren Plateaus wurde von Lavadecken gebildet. Viele Förderschlote verwitterten zu kegeligen Bergen. Der an einigen Stellen zu Tage tretende Säulenbasalt ist solch ein Zeuge von in den Vulkanschloten erhärteter Lava. Die Heilquellen und Mineralwässer in der Rhön sind postvulkanischen Ursprungs.
Nach dem Erlöschen der Vulkane entstand die heutige Landschaft der Rhön. Die vom Vulkanismus verursachten primären Oberflächenformen wurden durch erosive Abtragungen abgeflacht. Durch Wechsel von Hitze und Frost währen der Eiszeiten wurden Basaltgesteine gesprengt und es bildeten sich Blockhalden.