关于开展2025年英国剑桥大学—强化学习与科研技能项目的通知
一、 项目综述
强化学习（Reinforcement Learning）是人工智能领域的一个重要分支，不同于基于人工神经网络算法的深度学习，强化学习本质上是一种机器学习方法，旨在让机器通过与环境的交互，不断尝试不同的策略并从中得到奖励或惩罚，从而学习如何选择优异的策略来实现某一目标。本项目由英国剑桥大学计算机科学系教授亲自设计并授课，旨在提升学生在强化学习与神经网络等前沿领域的核心知识与技能，同时强化提高相关领域的研究技能、团队项目实操能力与论文写作技巧。
二、 特色与优势
Ø 【顶级的剑桥师资】由剑桥大学计算机系教授兼剑桥人工智能小组成员亲自参与设计与授课；
Ø 【前沿的课程主题】涵盖强化学习与神经网络的前沿主题，同时注重提升研究与论文写作技能，全面提升学生的科研学习体验；
Ø 【四六级即可申请】无需托福雅思成绩，使用大学英语四/六级即可申请参加
Ø 【英伦文化深度体验】除在剑桥学习生活之外，更有机会到访伦敦、牛津、约克、曼彻斯特、巴斯等英伦名城，深度体验英国文化
三、剑桥大学与格顿学院简介
Ø 创建于1209年的剑桥大学，是英国乃至世界上历史最悠久的大学之一，同时也被公认为是世界上最顶尖的高等教育机构之一，在艺术与人文、数学、物理、工程与技术、医学、法学、商科等诸多领域拥有崇高的学术地位及广泛的影响力；
Ø 剑桥大学是英语世界中第二古老的大学，同时也是全世界最顶尖的研究型大学之一，英国名校联盟“罗素集团〞和欧洲的大学联盟科英布拉集因成员；
Ø 2025年QS世界大学综合排名位居第5； 2025年USNEWS全球大学综合排名位列第6；QS计算机与信息专业世界排名第8；
四、访学项目介绍
【课程日期】
2025年1月20日 – 2月14日（4周）
【课程内容】
项目为期四周，前三周共包含36小时授课时间，主要分为“强化学习”与“神经网络”两个主要课程模块；第四周，学生将参加为期一周的英国体验之旅。
模块A：强化学习（Reinforcement Learning，18小时）
本模块侧重于将强化学习的理论和编码实践相结合，从而强化学生对以下方面的理解：
• 了解现有的软件平台及其优缺点。
• 开发优秀且稳固的软件
• 理解理论背后的假定
• 识别学习表现中的错误和弱点
• 如何改进软件及其效果
• 如何进行稳健评价
• 撰写论文诠释研究成果与结论
模块B：神经网络（Neural Networks，18小时）
本模块将重点关注Transformers模型、大型语言模型（LLM）与图形神经网络。剑桥教授一方面将梳理这三大领域的核心前沿知识，另一方面讲解如何撰写相关领域的论文；识别其他人工智能方法的新颖之处，并提供有关工具和现有软件的有效信息。
在整个项目期间，剑桥教授会围绕如何开展团队科研项目和撰写专业文章，为学生提供针对性地辅导与支持，以强化学生的研究与实践技能，其中涉及行文风格的建议，并将考虑文章结构、流程、清晰度、语言的使用、编码技能和结果呈现技巧等不同方面。学生将能够更加熟练地解决一系列研究方面的实际问题，如文章是否通过发现新的知识而对行业产生重大意义？是对新理论的拓展，还是对旧观点的修订？是否考虑到以前发表的论文？是否展示了先进的学术探究？
【参考日程】(仅供参考，以实际安排为准)
日期 | 主题与内容简介 |
1月19日周日 | 抵达剑桥，入住当地酒店 |
第一周1月20日 – 1月24日 | |
【强化学习】 第一部分：强化学习基础
| • 强化学习导论与分类 • 强化学习的算法与框架 • 遗传算法，帕累托前沿 • Q 学习模式与Actor-Critic算法 • 基于策略的学习 • 马尔可夫决策过程 • 强化学习的奖励函数模型 |
【强化学习】 第二部分：高阶深度强化学习
| • 动态规划与贝尔曼方程 • 环境复杂性建模 • 强化学习与控制优化 • 强化学习算法：DQN，A3C, SAC • 冗余操作器的自适应运动控制 • 强化学习与其它深度学习技巧的集成 • 与图神经网络、注意力和消息传递模型的集成 |
第二周1月27日 – 1月31日 | |
【强化学习】 第三部分：强化学习的实践应用
| • 机器人技术 • 图像分析 • 医疗领域 • 自然语言处理 • 气象领域 • 综合应用：与自动机器学习的集成 • 强化学习与机器学习的系统 |
【神经网络】 第一部分：Transformers模型
| • Transformers模型简介 • 编码器、解码器、注意力机制、神经科学相似性 • 视觉转换器 • 图形与视频VIT |
第三周2月3日 – 2月7日 | |
【神经网络】 第二部分：大型语言模型LLM
| • 自编码和自回归 • BERT家族 • GPT家族 • T5架构与Llama模型 • 检索增强生成(RAG)，索引 • 大型语言模型的融合 |
【神经网络】 第三部分：图形神经网络
| • 卷积图神经网络 • GAT • 消息传递框架 • 光谱法 • 神经算法推理 • 图形转化器 • 图形与大型语言模型知识 • 生成型人工智能：扩散模型 |
| 小组展示，项目结束 |
第四周2月10日 – 2月14日 | |
【文化活动】 英伦之行 | 学生将参加为期一周的丰富多彩的英国体验之旅，到访多所英国历史名城，深度体验英国深厚的历史文化，其中包括： ² 伦敦：英国首都，传统风尚与现代艺术气息完美相融，散发独特魅力; ² 牛津大学城：古典、优雅、空气中弥漫着浓郁学术气氛: ² 温莎堡：世界上现存王室规模最大古堡，“爱江山不爱美人”的浪漫爱情故事至今令人感动。 ² 巴斯：“英国最干净的城市”，如今古浴场遗址是英国非常著名的古罗马时代的遗迹。 ² 约克：中古风情名城，市区四周被小世纪墙环绕，处处残留古老风情、令人流连忘返，是英国历史缩影。 ² 曼彻斯特--英国工业革命圣地，亦是足球名城 ² 考察英国最好的大学:牛津大学、约克大学、曼彻斯特大学 |
2月15日 | 启程回国 |
【师资介绍】
剑桥大学计算机科学系教授，剑桥大学人工智能专家小组成员，剑桥大学人工智能医学中心成员。个人主要研究兴趣聚焦于开发人工智能和计算生物学模型，以了解疾病的复杂性，并解决个性化和精确医学问题，目前的重点是图形神经网络建模。
【项目收获】
顺利完成学习后，学生将获得剑桥大学计算机科学教授颁发的参课证明与表现评估。
【项目费用】
项目总费用 | 约人民币4.95万元 |
费用包括： | 学费、杂费、酒店住宿（含早）、文化活动期间的车导与用餐、医疗与意外保险、接送机及项目服务费 |
费用不包括： | 国际机票、英国签证费与其它个人消费 |
五、项目申请
英语要求：大学英语四级500分，或大学英语六级470分，或高考英语130，或Duolingo105；
报名截止日期：10月25日
六、报名方式
1.报名流程：
(1). 学生本人可在校内网登录“校务服务网”，点击 研究生/本科生出国（境）交流学习申请表 进行在线办理。请正确输入项目名称：2025寒假赴英国剑桥大学项目
（2）由相关负责审核老师在钉钉或者数字杭电校务服务网待办事项中进行审核（请各位同学及时关注校内审核进度）。
（3）所有流程均审核通过后，方视为报名成功。
2.项目咨询：
校内咨询：国际处高老师0571-86873869
项目咨询: 苏老师 15009585046（微信同号）