小熊的小站

该论文来自同级的lj同学。一位将去哈佛的大佬。

论文地址：https://openreview.net/forum?id=UAr59yTUWR2

共同一作：lj和来自伦敦帝国理工学院地球科学与工程系的Che liu

发表自MIDL（The International Conference on Medical Imaging with Deep Learning）是一个非常年轻的医学图像方向的会议。

评价：ECG版CLIP

陈天奇是机器学习领域著名的青年华人学者之一，本科毕业于上海交通大学ACM班，博士毕业于华盛顿大学计算机系，研究方向为大规模机器学习。TVM、MXNET、XGBoost 作者，CMU 助理教授，OctoML CTO。在gpt的潮流下，领导的团队提出了MLC LLM ，为在各类硬件上原生部署任意大型语言模型提供了解决方案，可将大模型应用于移动端（例如 iPhone）、消费级电脑端（例如 Mac）和 Web 浏览器。

该文写于2019年。

十年前，MSRA的夏天，刚开始尝试机器学习研究的我面对科研巨大的不确定性，感到最多的是困惑和迷茫。十年之后，即将跨出下一步的时候，未来依然是如此不确定，但是期待又更多了一些。这其中的变化也带着这十年经历的影子。

来自华为发表于nature的《Accurate medium-range global weather forecasting with 3D neural networks》。

现阶段，AI 气象预报模型精度不足主要有两个原因：

• 第一，现有的 AI 气象预报模型都是基于 2D 神经网络，无法很好地处理不均匀的 3D 气象数据。
• 第二，AI 方法缺少数学物理机理约束，因此在迭代过程中会不断积累迭代误差。

为了解决上述问题，来自华为云的研究人员提出了一种新的高分辨率全球 AI 气象预报系统：盘古气象（Pangu-Weather）大模型。

该论文来自同级的fga同学。fga同学是一位我挺佩服的同学。

论文地址：https://arxiv.org/abs/2305.19599

共同一作：fga和来自穆罕默德·本·扎耶德人工智能大学（MBZUAI）的Zutao Jiang

其他作者还包括来自华为诺言方舟实验室的几位和梁晓丹老师。

不知道这篇论文会在哪里发表（目前还是arxiv)，也不能断定这篇论文是否具有较大的学术阅读价值，但我认为阅读这篇论文能让我见识一下自己与别人的差距。

这篇论文中，作者提出了FineRewards，通过引入两种新的细粒度语义奖励：caption奖励和SAM奖励，来改善文本到图像扩散模型中文本和图像之间的对齐。

此外，还采用了集合奖励排序学习策略，使多个奖励函数能够集成，以共同指导模型训练。

来自《A PhD Student’s Perspective on Research in NLP in the Era of Very Large Language Models》

通过汇集来自不同背景的博士生的意见，探索NLP领域丰富的研究方向，避免将研究仅仅局限于大型语言模型。提出了十四个研究领域，每个领域包含了2-4个具体的研究方向，涉及多语言性、推理、知识库、语言基础、计算社会学等主题。

作者全部来自于密歇根大学LIT组，也拥有着不同的国家背景，譬如中国、美国、日本、墨西哥等。

LIT(Language and Information Technologies)是密歇根大学的一个研究小组，致力于自然语言处理、信息检索和应用机器学习方面的研究项目。
语言与信息技术研究小组于2002年在北德克萨斯大学成立，旨在促进自然语言处理、信息检索和应用机器学习方面的研究和教育。
该小组于2013年搬到了密歇根大学。

来自发表于Royal Society上的《Astronomia ex machina: a history, primer and outlook on neural networks in astronomy？

个人评价：

大致算是讲述了人工智能的历史，没有很好的讲述人工智能在天文学的特殊性，生硬的讲述人工智能+天文学，简单的1+1-2，没有看到想要看到的1+1>2。

让我印象最深的是文中提到居然只有三篇天文学的论文用了diffusion，是数据集的问题？

摘要

在这篇综述中，我们探讨了人工智能（AI）和深度学习在天文学中的历史发展和未来前景。我们通过三个浪潮来追踪天文学中联结主义的演变，从多层感知器的早期使用，到卷积神经网络和循环神经网络的兴起，最后到当今无监督和生成深度学习方法的时代。随着天文数据的指数级增长，深度学习技术提供了前所未有的机会来发现有价值的见解并解决以前棘手的问题。当我们进入预期的天文联结主义第四波浪潮时，我们主张采用针对天文应用进行微调的类似 GPT 的基础模型。这些模型可以利用高质量、多模态天文数据服务于最先进的下游任务。为了跟上大科技推动的进步，我们在天文学界提出了一种协作、开源的方法来开发和维护这些基础模型，利用这两个领域的独特优势，促进人工智能和天文学之间的共生关系。

来自《Voice Conversion With Just Nearest Neighbors》

demo地址：https://bshall.github.io/knn-vc/

代码地址：https://github.com/bshall/knn-vc

简介：任意语音转换旨在将源语音转换为目标语音，仅以目标说话者的几个例子为参考。最近的方法产生了令人信服的转换，但代价是增加了复杂性——使结果难以复制和构建。相反，我们保持简单。我们提出了k近邻语音转换（kNN-VC）：一种简单而有效的任意到任意转换方法。首先，我们提取源语音和参考语音的自监督表示。为了转换为目标说话者，我们将源表示的每个帧替换为其在参考中的最近邻居。最后，预训练的声码器从转换后的表示中合成音频。客观和主观评价表明，kNN-VC以与现有方法相似的可懂度分数提高了说话人的相似性。

未完待续

来自Open Samizdat

简介：

chatgpt的流行及其各种令人印象深刻的功能使一些人相信它是在现有系统的语言能力上向前迈出的重要一步，nlp领域很快就会被生成语言模型所吞噬，甚至它预示着AGI。

为了验证这些说法，我对arXiv预打印进行了调查，将chatgpt与其他方法进行了比较，主要是使用较小的微调模型。

chatgpt的性能并不像我预期的那样令人印象深刻，因为它经常被更小的模型所超越。