如果你这种程度都自称业余，那其他那么多普通动画/二次元爱好者都要无地自容了（笑）
我见到 @剑之远征 已经建议答主阅读电影史和哲学方面的书籍， @乌合之子 老师也推荐了一些我平时会看的一些作者，那我就从宅文化、文学和社会理论方面推荐一点。
日本动画及亚文化
我看你的问题描述里只提到了动画和少量漫画，但所谓御宅文化，也就是常说的 ACGN 实际上包括了日本动画（Anime）、漫画（Comics）、电子游戏（Games）和小说（Novels），如果想成为一位真正的婆罗门，那么也必须对剩下的 GN 有所了解。只看动画的人是绝对无法好好谈论动画的。
正如谈论【白色相簿2】而不能不提及其游戏本体一般，galgame 对动画的影响有着举足轻重的地位。从最早可溯的Gal改动画【スーパーリアル麻雀】开始，经过【秋之回忆】，再到【寒蝉鸣泣之时】以及现在的【ATRI】，还有家喻户习的麻枝准、丸户史明和龙骑士。Galgame对动画的影响，以及二者之间的冲突和合作，其实远比你想的要大。一个很简单的例子：为什么【成神之日】那么拉但【Clannad】却被誉为神作？因为麻枝准主刀的动画作品被人诟病的很大原因是他把握不了季度动画短短十二话的叙事节奏。
关于小说，这里或许需要提及的是轻小说而非传统文学作品，而轻小说则是 @甚谁 的回合。
关于御宅文化，国内对这一研究的官方可参考书籍较少，主要为地下爱好者贡献，可自行挖坟各种上古论坛的精华帖子进行淘宝，或者关注 @屋顶现视研 喵，谢谢喵。
作品和书籍推荐：
不想提却又不得不提的人，但你东哥对动画的批评可以说是他炒作基石和现在动画爱好者不得不品尝的玩意。
宇野和东之间的对骂也挺有意思，但宇野的思想在后期复读程度堪称复读机，除【零零年代的想象力】外，其他文章和书随便翻翻就好。
非常有意思的一本书，没有精神分析的基础也能读懂。
剩下的一时半会儿记不起来，这部分暂且先推荐到这里。东浩纪的【离世界更近】屋顶有翻译；宇野长宽的三本屋顶也都有翻译；斋藤环那本豆瓣有翻译，找不到的话也有英译，名字好像是【Beautiful Fighting Girl】
其实现在的虚拟主播也挺有意思，但我没发觉什么特别的、有关动画的视野。
文学作品及文学批评
对甚谁的一篇文章记忆犹新，讲的是想要读懂轻小说实际上要沿着其作者的文脉往上攀，最后还是会进入传统文学作品的世界。【为什么中国轻小说就是写不出日本那个味呢？】
所以对于动画作品的研究，我其实首推的是去读文学作品，虽然这个需要的时间实际上比读专业书来得多多了。但正如现在谈论新海诚都不得不提到村上春树和其他小说作者（如【追逐繁星的孩子】和【海边的卡夫卡】还有夏目漱石的【矿工】，【铃芽之旅】和【青蛙君救东京】），和讲述四月新番【天国大魔境】时必须提一嘴其原作者实际上是血脉纯正的严肃 Sci-fi 作家一般，文学作品与动画之前从来不是有你无他的关系。
关于文学批评，不多讲，读文学作品不看文学批评，那就只能停留在读后感的层次而不能更近一步。
作品和书籍推荐：
小说推荐的挺多都是日本经典作品，立本人的变态性和反思性可见一斑（乐）！至于欧美那边的，我自己非常喜欢波拉尼奥和菲茨杰拉德，其他的你可以翻翻中小学推荐读物，豆瓣top250也行，菜名太多了，，
社会理论和文化研究
日本动画其实也反应了立本社会的思想变迁啊（EVA、冰菓）政治变动啊（超人幻想、魔法少女毁灭者、人狼、机动警察）国民性啊（厉不厉害你诚哥）变态性啊（厉不厉害你诚哥），后面忘了。只停留在艺术层面的分析是远远不行的，被小文青所构建的幻想乌托邦绝对会被现实某不可言说之物一巴掌打碎，而那落在地上的碎片间隙中歪歪斜斜写满了实践！
这里我会推荐答主 @怀剑 和 @秘则为花，按着他们的回答去读/找相关书籍肯定没错。
这部分不需要报菜名，读个【社会理论的邀请】和【文化理论与大众文化导论】就算入门，后面找自己喜欢的读就是。
目前来说女性主义算是最最最前沿的了，可以看看【Reading Feminist Theory: From Modernity to Postmodernity】，屋顶有翻译， @动画学术趴 最近还有个动画 X 女性主义的讲座。
东亚文化研究看看汪晖戴锦华。其他的我也不懂了。
顺带提一嘴精神分析，拉康放在现在动画批判里算是过街老鼠人人喊打，但不读真不行。
因为我自己看的电影也少，且很早前就不怎么看动画和漫画，推荐的东西非常有可能已经过气了，只能作为参考用途。当然我也认为，凭题主的实力，早就看过了也说不定。
最后再推荐一些我常看的知乎答主： @钟子默 、@王晗、 @云吞花卷、 @FFF团长、 @年糕汤里的鱼板、 @Ako的红、 @SFLSNZYN、 @网哲邻人部 、 @叶佳桐
若是喜欢文艺式解读可以看看B站的初鹿野凪
剩下的找不动了，按照他们的关注列表去找吧，，，
