謝邀，被點名了那必須好好答，不過我的水平還不能夠對整個學科整個方向給個general的描述，自己的理解什麽的也很有限，盡力而已，大家有問題可以問，我盡力。。。
關於表示論
忘記是哪本書上看到的說：表示論的思想是把不熟悉的數學表示成熟悉的東西。不過具體實作，就是題主說的到所有自同構的同態。比較系統的表示論理論大體有三塊：群表示（gtm42，Serre的書是個很好的參考另有Etingof的一個lecture notes，
http:// ocw.mit.edu/courses/mat hematics/18-712-introduction-to-representation-theory-fall-2010/lecture-notes/MIT18_712F10_replect.pdf）、李代數的表示（gtm9，Humphreys是很好的參考書）、結合代數的表示，或者說quiver的表示（參考書隨便附個連結，但是書是這本
Elements of the Representation Theory of Associative Algebras Techniques of Representation Theory）。這幾本書都是本科基礎可以讀的。
群的表示是表示論最初的結果，也是相對而言最完整的理論，最初量子力學裏對誇克的分類就是透過群SU(3)只有三個不同的不可約三維表示得到的，這也是表示論最初的動機和起源。有限群的表示是有完全分類的，結果也很漂亮。
李群也是群的一部份，並且因為有拓撲結構，有限群的結果可以擴充套件到緊李群。李群在單位元素處的切空間定義了李代數，李代數也是研究非交換代數，非交換幾何的重要手段之一（李代數研究的就是交換子，交換子不為零等價於非交換）。因此李理論在表示論中，以及在整個數學中，也很重要。多說一句，李代數的理論對有限維半單李代數有比較好的結果。
然後說結合代數，學過抽象代數的話會知道，結合代數比環只多了數乘結構，而在有加法的情況下數乘是很容易定義的，因此結合代數的表示幾乎等價於環上的模，模論在抽象代數中的重要性大家懂的，因此結合代數的表示論也就很重要。另外群代數是結合代數的一種，因此群表示可以算是囊括在結合代數表示裏的，不過群表示有更簡便的研究方法，所以一般也不會用quiver去研究群表示。
以上是很基礎的表示論框架，如果要讀這個方向的研究生的話，以上相關知識應該在研究生第一二年內甚至更早完全掌握，而後才能接觸比較新的研究。
關於幾何表示論
所謂幾何表示論就是用幾何手段研究表示論問題（其實還是代數用得更多）。具體一點的話（這是我老板說的，不敢隨便盜版權，說錯了也不是我負責嗯）：把某些物件上的表示等價於某幾何物件的同調餘調或者K-理論。以下介紹幾個最近比較熱的工具或者方向（想起來再補充或者修改）。
1. Springer theory
這個應該是最早的（好吧其實是我沒有聽說過更早的），參考書的話，華莉莉的介紹幾何表示論的入門書：Chriss & Ginzberg, Representation Theory and Complex Geometry。
有個很重要的研究物件叫（n維）flag variety設為F，考慮G=GL(n)在其上的作用，得到一個homogenous space，F=G/B，B是Borel subgroup。另一方面，取定G對應的李代數g裏的一個Borel subalgbra，b，考慮G在g上的adjoint action，可以得到F同構於g的所有Borel subalgbras組成的variety（按照定義是Grassmannian的一個subvariety）。取N為g中所有冪零元，N'為N*F的子集，其中元素（x,b）滿足x屬於b。N'稱為nilpotent cone。從N‘到N的投影是個resolution of singularity，稱Springer resolution。這裏插一句N'事實上也同構於F上的cotangent bundle，因此有辛結構，然後從這裏還能講一大篇故事，後面會再提到。最後N'和N'在N上做fiber product得到的東西叫Steinberg variety。神奇的事情來了：Steinberg variety上的（Borel-Moore）homology同構於g（或者說G）的Weyl group的群代數。於是Weyl group的表示論就被放到幾何中了。上述中的李群G可以用任何有限維緊李群代替，都有類似的結果。
2. D-modules
根據Etingof的課，（lecture notes可以在Etingof的主頁找到）D-modules最初出現的動機是純分析問題，關於函式的解析延拓，後來發現這種問題可以轉化成純代數問題，考慮某個variety上所有differential operators組成的algebra/ring上的模論，也就是其表示論。事實上每個D-module都是某個微分方程式（組）的所有解組成的，所以D-modules的理論跟微分方程式有一定聯系。
另一方面，某個variety上所有differential operators組成的環是該variety的coordinate ring的一個量子化，因此D-modules的理論在deformation/quantization的研究中也相當重要。
3. Hall algebras
這個是把quivers和Lie algebras聯系起來的一個理論，了解quivers和Lie algebras的話會知道二者的分類都是用Dynkin diagrams，那麽同一個Dynkin diagram對應的quiver的loop algebra和李代數之間也應該有聯系。
Ringel對給定quiver構造了Hall algebra，並且證明了其同構於對應李代數（的Borel subalgebra）的量子群。而後Lusztig用perverse sheaves定義了Hall category，是Hall algebra的（弱）範疇化，也是著名的Lusztig’s geometric construction of canonical bases（據Zelevinsky和Fomin說這是他們定義cluster algebra的最初動機）。
4. Nakajima quiver varieties
這是從quiver構造李代數的另一種方式（構造過程用到了同調），比Hall algebra更神奇的是這種方式還給出了李代數的最高權表示的構造。這是Nakajima最初定義這個東西的動機，後來大家發現這個東西神奇之處遠非如此而已。比如構造中用到了doubled quiver，對應的moduli space of representations就產生了cotangent bundle的結構，進而有辛結構。構造中同樣用到了GIT quotient，從GIT quotient到geometric quotient有滿射，可以證明在Nakajima的構造中GIT quotient是光滑的。因此Nakajima quiver varieties提供了symplectic resolutions中很重要的一類例子。很多做幾何的人也很關心symplectic resolutions的性質，所以Nakajima quiver varieties的研究現在很熱門。
5. categorification
把一個代數進行範疇化有兩種方式：a.構造一個範疇，然後該範疇的K理論是原來的代數；b.Grothendieck sheaf-to-function correspondence。方式a適用範圍更廣，方式b更容易構造，但是如果方式b適用，應該跟a得到等價的範疇。
其中比較特別的一類，是李代數表示的範疇化，也叫categorical Kac-Moody action，除了上面說的之外還有其他條件要滿足，好處是可以引入Hecke algebra及其表示，進而利用相關的結果。這也是目前關於範疇化的研究中最活躍的部份，比較漂亮的結果就是KLR algebras（Khovanov-Lauda-Rouquier），也叫quiver Hecke algebras。
6. Langlands program
好吧這個我不懂，一直停留在被科普階段，每次被科普都先科普物理，但是我不懂物理，所以聽著聽著就聽不下去了。
寫得很倉促，又很長，各種疏漏敬請指正。
