الهندسة الرياضية (باليونانية: γεωμετρία) هي فرع من فروع الرياضيات المعنية بدراسة الأشكال، وقياس الحجوم والمساحات، ودراسة الهندسة الفراغية. ويسمى من يدرس في مجال هذا العلم مهندساً رياضياً. ولقد نشأ هذا العلم في الحضارات القديمة باعتباره مجموعة من العلوم العملية حول الأطوال، والمساحات، والحجوم، على يد مجموعة من العلماء الغربيين القدامى مثل طاليس (القرن السادس قبل الميلاد). وبحلول القرن الثالث قبل الميلاد وضع إقليدس المسلمات الأساسية في علم الهندسة الرياضية، حيث أصبحت الهندسة الإقليدية معياراً لقرون طويلة. وبعدها طور أرخميدس تقنيات بارعة في حساب المساحات والحجوم، بطرق كثيرة مثل التكامل. وأصبح علم الفلك، وخاصة تحديد مواقع النجوم والكواكب في السماء ووصف العلاقات بين حركة الكواكب، أحد أهم مجالات التساؤلات الهندسية خلال الألفية ونصف الألفية التاليين
أدى ظهور الإحداثيات بواسطة رينيه ديكارت الذي تزامن مع التطويرات على علم الجبر إلى بدء مرحلة جديدة في علم الهندسة الرياضية، حيث أن الأشكال الهندسية، مثل المنحنيات، أصبح يمكن وصفها من خلال الهندسة التحليلية، من خلال الاقترانات والمعادلات. وقد لعب هذا دوراً رئيسياً في نشوء علم التفاضل والتكامل في القرن السابع عشر. علاوةً على ذلك، أظهرت نظرية المنظور أن علم الهندسة الرياضية لا يقتصر على العلاقات الخطية (كالطول والعرض) بل هي أعقد: حيث أن المنظور هو أصل الهندسة الوصفية. وقد أثري علم الهندسة الرياضية من خلال دراسة الهياكل التي لا تتجزأ من الأشكال الهندسية (الأشكال الهندسية الأساسية مثل المثلث والمربع والدائرة...إلخ) من قبل أويلر وجاوس، والذي أدى إلى ظهور علم الطوبولوجيا والهندسة التفاضلية.
على وقت إقليدس، لم يكن هناك تمييز واضح بين الحيز المادي والفضاء الهندسي. حتى تم اكتشاف الهندسة اللاإقليدية في القرن التاسع عشر، حيث خضع مفهوم الفضاء إلى تحول جذري، والسؤال الذي يطرح نفسه: أي هندسات الفضاء هي الأفضل في التوافق مع الحيز المادي؟ ومع تطور الرياضيات وبروز أهميتها في القرن العشرين، فقد الفضاء («نقطة»، «خط»، «مستوى») نفسه محتوياته البديهية، إذاً يجب علينا الآن التفريق بين الحيز المادي، وهندسة الفضاء، والفضاء التجريدي. وتَعتَبر الهندسة المعاصرة هذه التشعبات، على أنها أقرب ما تكون إلى نظريات رياضية فقط، على عكس الهندسة الإقليدية المعروفة، وهي لا تظهر إلا في المستويات الصغيرة. ولدى الهندسة الحديثة روابط قوية مع الفيزياء، ممثلة بالعلاقات بين هندسة ريمان والنسبية العامة. وتأخذ نظرية الأوتار، وهي أحد أحدث النظريات في الفيزياء، أيضاً هندسة مختلفة عن الهندسة المعروفة.
في حين أن الطبيعة البصرية للهندسة تجعلها أكثر سهولة للفهم من الأنواع الأخرى من الرياضيات، مثل الجبر أو نظرية الأعداد، إلا أنها في بعض الأحيان تستخدم في حالات بعيدة جداً عن الحالات التقليدية، فعلى سبيل المثال تظهر الهندسة الإقليدية في الهندسة الكسرية.
أدى ظهور الإحداثيات بواسطة رينيه ديكارت الذي تزامن مع التطويرات على علم الجبر إلى بدء مرحلة جديدة في علم الهندسة الرياضية، حيث أن الأشكال الهندسية، مثل المنحنيات، أصبح يمكن وصفها من خلال الهندسة التحليلية، من خلال الاقترانات والمعادلات. وقد لعب هذا دوراً رئيسياً في نشوء علم التفاضل والتكامل في القرن السابع عشر. علاوةً على ذلك، أظهرت نظرية المنظور أن علم الهندسة الرياضية لا يقتصر على العلاقات الخطية (كالطول والعرض) بل هي أعقد: حيث أن المنظور هو أصل الهندسة الوصفية. وقد أثري علم الهندسة الرياضية من خلال دراسة الهياكل التي لا تتجزأ من الأشكال الهندسية (الأشكال الهندسية الأساسية مثل المثلث والمربع والدائرة...إلخ) من قبل أويلر وجاوس، والذي أدى إلى ظهور علم الطوبولوجيا والهندسة التفاضلية.
على وقت إقليدس، لم يكن هناك تمييز واضح بين الحيز المادي والفضاء الهندسي. حتى تم اكتشاف الهندسة اللاإقليدية في القرن التاسع عشر، حيث خضع مفهوم الفضاء إلى تحول جذري، والسؤال الذي يطرح نفسه: أي هندسات الفضاء هي الأفضل في التوافق مع الحيز المادي؟ ومع تطور الرياضيات وبروز أهميتها في القرن العشرين، فقد الفضاء («نقطة»، «خط»، «مستوى») نفسه محتوياته البديهية، إذاً يجب علينا الآن التفريق بين الحيز المادي، وهندسة الفضاء، والفضاء التجريدي. وتَعتَبر الهندسة المعاصرة هذه التشعبات، على أنها أقرب ما تكون إلى نظريات رياضية فقط، على عكس الهندسة الإقليدية المعروفة، وهي لا تظهر إلا في المستويات الصغيرة. ولدى الهندسة الحديثة روابط قوية مع الفيزياء، ممثلة بالعلاقات بين هندسة ريمان والنسبية العامة. وتأخذ نظرية الأوتار، وهي أحد أحدث النظريات في الفيزياء، أيضاً هندسة مختلفة عن الهندسة المعروفة.
في حين أن الطبيعة البصرية للهندسة تجعلها أكثر سهولة للفهم من الأنواع الأخرى من الرياضيات، مثل الجبر أو نظرية الأعداد، إلا أنها في بعض الأحيان تستخدم في حالات بعيدة جداً عن الحالات التقليدية، فعلى سبيل المثال تظهر الهندسة الإقليدية في الهندسة الكسرية.