谢邀，被点名了那必须好好答，不过我的水平还不能够对整个学科整个方向给个general的描述，自己的理解什么的也很有限，尽力而已，大家有问题可以问，我尽力。。。
关于表示论
忘记是哪本书上看到的说：表示论的思想是把不熟悉的数学表示成熟悉的东西。不过具体实现，就是题主说的到所有自同构的同态。比较系统的表示论理论大体有三块：群表示（gtm42，Serre的书是个很好的参考另有Etingof的一个lecture notes，
http:// ocw.mit.edu/courses/mat hematics/18-712-introduction-to-representation-theory-fall-2010/lecture-notes/MIT18_712F10_replect.pdf）、李代数的表示（gtm9，Humphreys是很好的参考书）、结合代数的表示，或者说quiver的表示（参考书随便附个链接，但是书是这本
Elements of the Representation Theory of Associative Algebras Techniques of Representation Theory）。这几本书都是本科基础可以读的。
群的表示是表示论最初的结果，也是相对而言最完整的理论，最初量子力学里对夸克的分类就是通过群SU(3)只有三个不同的不可约三维表示得到的，这也是表示论最初的动机和起源。有限群的表示是有完全分类的，结果也很漂亮。
李群也是群的一部分，并且因为有拓扑结构，有限群的结果可以扩展到紧李群。李群在单位元处的切空间定义了李代数，李代数也是研究非交换代数，非交换几何的重要手段之一（李代数研究的就是交换子，交换子不为零等价于非交换）。因此李理论在表示论中，以及在整个数学中，也很重要。多说一句，李代数的理论对有限维半单李代数有比较好的结果。
然后说结合代数，学过抽象代数的话会知道，结合代数比环只多了数乘结构，而在有加法的情况下数乘是很容易定义的，因此结合代数的表示几乎等价于环上的模，模论在抽象代数中的重要性大家懂的，因此结合代数的表示论也就很重要。另外群代数是结合代数的一种，因此群表示可以算是囊括在结合代数表示里的，不过群表示有更简便的研究方法，所以一般也不会用quiver去研究群表示。
以上是很基础的表示论框架，如果要读这个方向的研究生的话，以上相关知识应该在研究生第一二年内甚至更早完全掌握，而后才能接触比较新的研究。
关于几何表示论
所谓几何表示论就是用几何手段研究表示论问题（其实还是代数用得更多）。具体一点的话（这是我老板说的，不敢随便盗版权，说错了也不是我负责嗯）：把某些对象上的表示等价于某几何对象的同调上同调或者K-理论。以下介绍几个最近比较热的工具或者方向（想起来再补充或者修改）。
1. Springer theory
这个应该是最早的（好吧其实是我没有听说过更早的），参考书的话，华丽丽的介绍几何表示论的入门书：Chriss & Ginzberg, Representation Theory and Complex Geometry。
有个很重要的研究对象叫（n维）flag variety设为F，考虑G=GL(n)在其上的作用，得到一个homogenous space，F=G/B，B是Borel subgroup。另一方面，取定G对应的李代数g里的一个Borel subalgbra，b，考虑G在g上的adjoint action，可以得到F同构于g的所有Borel subalgbras组成的variety（按照定义是Grassmannian的一个subvariety）。取N为g中所有幂零元，N'为N*F的子集，其中元素（x,b）满足x属于b。N'称为nilpotent cone。从N‘到N的投影是个resolution of singularity，称Springer resolution。这里插一句N'事实上也同构于F上的cotangent bundle，因此有辛结构，然后从这里还能讲一大篇故事，后面会再提到。最后N'和N'在N上做fiber product得到的东西叫Steinberg variety。神奇的事情来了：Steinberg variety上的（Borel-Moore）homology同构于g（或者说G）的Weyl group的群代数。于是Weyl group的表示论就被放到几何中了。上述中的李群G可以用任何有限维紧李群代替，都有类似的结果。
2. D-modules
根据Etingof的课，（lecture notes可以在Etingof的主页找到）D-modules最初出现的动机是纯分析问题，关于函数的解析延拓，后来发现这种问题可以转化成纯代数问题，考虑某个variety上所有differential operators组成的algebra/ring上的模论，也就是其表示论。事实上每个D-module都是某个微分方程（组）的所有解组成的，所以D-modules的理论跟微分方程有一定联系。
另一方面，某个variety上所有differential operators组成的环是该variety的coordinate ring的一个量子化，因此D-modules的理论在deformation/quantization的研究中也相当重要。
3. Hall algebras
这个是把quivers和Lie algebras联系起来的一个理论，了解quivers和Lie algebras的话会知道二者的分类都是用Dynkin diagrams，那么同一个Dynkin diagram对应的quiver的loop algebra和李代数之间也应该有联系。
Ringel对给定quiver构造了Hall algebra，并且证明了其同构于对应李代数（的Borel subalgebra）的量子群。而后Lusztig用perverse sheaves定义了Hall category，是Hall algebra的（弱）范畴化，也是著名的Lusztig’s geometric construction of canonical bases（据Zelevinsky和Fomin说这是他们定义cluster algebra的最初动机）。
4. Nakajima quiver varieties
这是从quiver构造李代数的另一种方式（构造过程用到了同调），比Hall algebra更神奇的是这种方式还给出了李代数的最高权表示的构造。这是Nakajima最初定义这个东西的动机，后来大家发现这个东西神奇之处远非如此而已。比如构造中用到了doubled quiver，对应的moduli space of representations就产生了cotangent bundle的结构，进而有辛结构。构造中同样用到了GIT quotient，从GIT quotient到geometric quotient有满射，可以证明在Nakajima的构造中GIT quotient是光滑的。因此Nakajima quiver varieties提供了symplectic resolutions中很重要的一类例子。很多做几何的人也很关心symplectic resolutions的性质，所以Nakajima quiver varieties的研究现在很热门。
5. categorification
把一个代数进行范畴化有两种方式：a.构造一个范畴，然后该范畴的K理论是原来的代数；b.Grothendieck sheaf-to-function correspondence。方式a适用范围更广，方式b更容易构造，但是如果方式b适用，应该跟a得到等价的范畴。
其中比较特别的一类，是李代数表示的范畴化，也叫categorical Kac-Moody action，除了上面说的之外还有其他条件要满足，好处是可以引入Hecke algebra及其表示，进而利用相关的结果。这也是目前关于范畴化的研究中最活跃的部分，比较漂亮的结果就是KLR algebras（Khovanov-Lauda-Rouquier），也叫quiver Hecke algebras。
6. Langlands program
好吧这个我不懂，一直停留在被科普阶段，每次被科普都先科普物理，但是我不懂物理，所以听着听着就听不下去了。
写得很仓促，又很长，各种疏漏敬请指正。
