杨振宁说的那句：
「有那么两种数学书：第一种是你看了第一页就不想看了，第二种是你看了第一句话就不想看了」
算不算？
讲话的背景是，杨振宁在一个物理学演讲时候，谈到自己曾经察觉到自己的物理理论可能和一个数学理论有联系，于是就找了一本著名的相关数学书来读，结果一无所获。因为该书从头到位都是定义、定理和纯粹式的推理，生动的背景和案例知识一个都没有，让他摸不着头脑。
这事被捅出来后，好多人炮轰他，但杨振宁没有退缩，还说数学家应该让大家喜欢你，才能让数学产生更大的效果。
还有一位物理学家喜欢拿数学家开涮，就是费曼。
因为他们学校的物理系和数学系共用一个休息室，物理系的同学们经常会看到这样的场景：
两个数学系的学生在讨论数学问题，其中一个一直想不明白今天上的课，觉得理解起来很吃力。
站在另一旁的另一个数学系同学说：「这个太简单了！太简单了！」。然后开始长篇大论，滔滔不绝：「首先，你要假设这个这个，然后使用那个那个定理，再把什么什么代入进入……」。
最后，那个迷惑的同学勉强地说：「嗯，很简单，……（再次陷入思考）……是很简单。」
他们物理系的同学就会在旁边发笑，费曼站出来说：「我们发现了一个新定理：数学系的同学只懂得证明那些很简单的定理，因为每个已经被证实的定理都是很简单的」
**********************************************
其他答主都谈了物理和数学的关系，我也来聊聊。
数学和物理，其实是有很大的不同的，只需要专门去读【数学史】和【物理学史】相关的书籍，都会专门阐述这个问题。虽然19世纪以前，它们确实互相有非常多的交融，彼时一个英才常常多才多艺，集数学家、物理学家、工程师与哲学家于一身，所以解决问题时会在不同学科之间互相借鉴。但是19世纪以后，数学家们完善了集合论、数理逻辑，把原本从现实经验得来的数学知识，重新用公理演绎体系「再造」了一遍。这样，数学与物理就正式分道扬镳了。
其结果是：到1900年，数学已经剥离了「实在性」，其理论所研究的抽象结构变得自由、任意且高度形式化。
当然，这次「分手」是不平静的。高斯、黎曼、赫母霍兹和康托尔等少数宗师级人物认为数学不是自然真理，只是人造物。因为他们刚发明的诸如非欧几何、四元数、任意维空间、无长度曲线、不可积分函数等等之类新概念遭到了旧学者们批判，当时大多数人不接受这些超前的思想，攻击其没有现实意义，并且讽刺其为「畸形的逻辑」。为了支持自己的新观念，那些大数学家们索性把数学研究更加扩大：只要你能给出一些抽象结构体，研究它们的规律，那么就是在搞数学，无论抽象结构有多么任意！
*********************************************
从我们身边来说，一般人对数学与物理的了解不超过学校课本，因此大多数人看到物理书上有好多数学公式，会误以为他们思想上是想通的，觉得搞数学的肯定会搞物理。但其实，一般研究活动都用上数学公式的，在所有的科学领域以及工程学、军事学、管理学和经济学等等都会有数学公式，比如有些【军事学】专业课本上的数学公式不比物理学少。甚至艺术领域也会有，比如美术绘画就会研究【射影几何学】。
我觉得最好的关系解释应该是这样：因为引入了数学，这些古老的知识就上升到了「科学」的层次。
换句话说是：「数学模型」+「测量技术」+「观察知识」→「科学知识」。注意！一定要有测量技术，它才是数学与现实沟通的平台，否则如果以看到一本书里面就算有80%的数学公式，那也可能是糊弄人的附会想象，不是科学。
因为科学思想有个重要部分叫做「控制论」。它提出一个原则：我们搞科学研究不是用来游戏、审美或者心灵升华这类精神满足，而是要寻找到操纵自然事物的方法，实现对物质世界的主宰。比如说，A代表一个自然现象，那么所谓的「科学地理解了A现象」就是必然可以做到「人工地」约束或者创造A，这就叫做新技术。
我们不在这谈控制论具体的细节，但它们的基础都离不开要阐述「测量-反馈」的定量处理过程。这就使得「数学模型」成为了科学理论的首选，不仅是因为它可以评判误差，更重要的是它能清晰、明确地表达变量之间的复杂因果关系。在进行「控制变量」地实验后，我们能根据检验反馈，正确地排查到问题的变量。从另一方面来说，使用「数学模型」阐述理论又赋予了「逻辑」的合法性，让诡辩者闭嘴。
「控制论原则」使我们想评判别人的科研成果时可以借助工具技术，于是我们虽然不如牛顿、欧拉那些大科学家聪明，但是却能正确地指出他们的成果的错误和不足之处，就好比我们去商店买灯泡的时候，我们并不知道灯泡的工作原理，但并不妨碍我们能辨别一只灯泡是否坏了。科学成果可以通过测量验证，这便是科学理论能自动进步与完善的基础。
但这种方式并不仅仅狭隘于科研，还有很多其他领域也需要数学模型。军队打仗也要做「战术计算」和「作战数值模拟」，但战争比数学还古老。学透视绘画可以先学学射影几何学，但不是必要。音乐原本属于古希腊数学的四大分支之一，彼时「乐理」就等于是「数论课」，但现代搞音乐的也没见他们去学数学。甚至历史上曾经有一小段潮流，诗歌、文学也被要求按照「统计学」原则来创作，当然最终它还是过气了。
在这些学科里，数学知识都体现出「工具」的角色，工具肯定是不能代表主体的，所以不能轻易地说数学是所有学科的基础。比如现代人都离不开手机这个工具，但没人会说：不懂手机工作原理的人就不懂人类。
其实回顾历史，把数学当做所有知识的根本，是一个早就过时的「潮流」。在古希腊时代早期，毕达哥拉斯和柏拉图他们就把数学当做一种「自然神」，认为存在一个完美的「数学世界」，现实的「物理世界」只是它的一个拙劣的模仿者。这个观念很快就被后继的学者——「经验主义者」亚里士多德——批判过。亚里士多德认为:人可以定义不存在的概念，而且人们经常混淆概念的「可定义」与「真实性」，所以有时候逻辑推理会不符合事实。知识还是要以对现实的观察为基础。
像这样的大辩论在历史上反复再现过好几次，每次都兴起于一某个文明刚刚领略到数学的逻辑美，有点像皈依者狂热。比如西欧基督教吸收了从伊斯兰教回传的古希腊数学知识后，把「欧几里得几何学」膜拜成上帝造物的法则，赞誉它为一切知识的最完美形式，奉【几何原本】为神圣。当然我们都知道它的结局。
***************************************************
我再举个具体例子来说说数学和物理相差点。
比如，大家学习【量子力学】的时候，翻到氢原子的波函数方程的求解那节，课本上的解法是先观察物理实验的极端情况，以次猜测一个待定系数的波函数，然后代入方程里去推算系数。
但如果碰到搞数学的，他们却先要思考这个方程属于哪个类别？如何证明解的存在？特别是有些「数学高手」能举例出各种奇特、难懂的解来反驳，他们就会觉得搞物理的很不严谨，凭什么就得是波函数？不能是其他函数？
物理课本的解法，就包含了物理专业才知道的「定性分析法」，物理推导会根据观测经验去淘汰、选择一些数学模型，因为很多物理方程的「数学解」不符合物理。
再比如量子力学里的「薛定谔方程」，这个方程是薛定谔在考察了哈密顿对光学的研究成果后，「猜想」出来的。薛定谔方程其实是哈密顿光学方程的一种比喻，哈密顿基于最小作用量原理搞出的这个方程被薛定谔看过了之后，老薛凭着他优秀的「物理直觉」猜想出了一个模仿到粒子领域的版本，这个物理直觉其实是一种专家级别的类比思维。有意思的是，薛定谔最初是奔着构思一种「波动力学」去的，他最初其实没有正确理解自己的研究成果，看来他的成功有一点点「偶然性」。
所以物理领域的「物理直觉」、「物理定性分析」、「实验技术」是它们自己独有的知识，这是数学专业给不了的。
**********************************************************
再从其他角度来说，物理学上使用的数学并不算难，大学物理的【量子力学】也只是在解线性微分方程，这是数学里最简单的微分方程了。甚至好多理论之所以用「线性微分方程」，就因为这个东西好求解。回到19世纪以前，那时的物理学家，除了搞力学的，也用不到那么高深的数学。
不仅不难，物理学里所使用的数学知识，也只占整个数学体系的九牛一毛而已，完全不对等。正如我开头说的，数学研究是任意的，只要你能抽象出结构就行，所以现代数学的内容十分广泛，连打绳结都能被它抽象成「纽结理论」。假如拿分支体系来比较，数学分支的「树形图」显得枝繁叶茂，其它学科跟它相比就是「小树苗」，同样是学数学的，互相之间看不懂对方的论文都有可能。
最后，我用个比喻来总结：炼金术神话中有一种叫做「贤者之石」的罕世催化剂，有了它，炼金术师就能把铜、铁这样的贱金属变成黄金，所以又叫「点金石」。而我们的数学便是应用学科的「贤者之石」。
