我报名参与金石方案1期挑战——瓜分10万奖池，这是我的第30篇文章，点击检查活动详情
日报合辑 | 电子月刊 | 大众号下载材料 | @韩信子
东西&结构
『S3PRL』自监督语音预练习和表征学习东西包
github.com/s3prl/s3prl
s3prl.github.io/s3prl/
s3prl是一个语音开源东西包，它的名字来自于Self-Supervised Speech Pre-training and Representation Learning的缩写。这个东西库构建好了自监督的语音预练习模型这个上游使命，能够迁移使用于各种下游使命。
『giget』Git库命令行下载东西
github.com/unjs/giget
giget 是一个 git 库命令行下载东西，具有如下特性：
- 支撑盛行的各种git平台（GitHub、GitLab、Bitbucket、Sourcehut）开箱即用
- 内置和自界说模板注册表
- 运用tarball gzip快速下载，无需依靠本地git和tar
- 支撑磁盘缓存的在线和离线作业
- 支撑运用子目录下载
- 支撑下载私家模板的授权
『Leetcode Anki card generator』把LeetCode标题生成卡片的刷题神器
github.com/prius/leetc…
刷题神器，经过运行这个项目的脚本，能够主动生成带有一切leetcode问题的 Anki 卡片，便利刷题和学习。
『redframes』用于机器学习和可视化的数据操作库
github.com/maxhumber/r…
redframes（rectangular data frames）是一个用于机器学习和可视化的数据操作东西库。它与pandas彻底互通，与scikit-learn兼容，并且兼容matplotlib东西库。
redframes有着十分精简的语法，让咱们专注于中心作业而无需一直检查东西库运用办法。
『PyPOTS』用于对部分观测时刻序列进行数据发掘 Python 东西箱/库
github.com/WenjieDu/Py…
PyPOTS 是一个用于时刻序列数据发掘的 Python 东西库，支撑对具有缺失值的不完整多变量时刻序列进行预测/核算/分类/聚类的使命。
博文&共享
『Mathematics of Data Science』ETH Zurich 数据科学数学根底 课程课件下载
people.math.ethz.ch/~abandeira/
pdf下载：people.math.ethz.ch/~abandeira/…
- Notes on this Draft and Current Status / 草稿与现状阐明
- Curses in High Dimensions / 维数灾祸
- Singular Value Decomposition and Principal Component Analysis / 奇异值分解和主成分分析
- Graphs, Networks, and Clustering / 图、网络和聚类
- Nonlinear Dimension Reduction and Diffusion Maps / 非线性降维和分散映射
- Concentration of Measure and Matrix Inequalities / 度量集中和矩阵不等式
- Max Cut, Lifting, and Approximation Algorithms / 最大切开、提高和逼近算法
- Community Detection and the Power of Convex Relaxations / 社团检测和凸松弛
- Linear Dimension Reduction via Random Projections / 随机投影的线性降维
- Compressive Sensing and Sparsity / 紧缩感知和稀少性
『Self-Supervised Representation Learning for Speech Processing』(Interspeech 2022 Tutorial)面向语音处理的自监督表明学习
docs.google.com/presentatio…
教程包含以下主题：
- Historical Context of Representation Learning / 表征学习的历史背景
- Speech Representation Learning Paradigms / 语音表明学习范式
- Multi-modal SSL / 多模式 SSL
- Benchmarks for Self-Supervised Learning Approaches / 自我监督学习办法的基准
- Analysis of Self-Supervised Representations / 自我监督表明的分析
- From Representation Learning to Zero Resources / 从表征学习到零资源
- Topics beyond Accuracy / 逾越准确性的主题
- Toolkits for Self-Supervised Speech Representation Learning / 自我监督语音表征学习东西包
数据&资源
『Deep Learning Examples』深度学习实例集
github.com/LambdaLabsM…
调集收集了几个不错的深度学习实例，包含比较完整的项目阐明和代码。
- Finetune Stable Diffusion text-to-image model / Stable Diffusion文本生成图画模型的微调
- YoloV5 – object detection example using YoloV5 / Yolov5：运用 Yolov5 的方针检测示例
- GPTNeoX – Large Language Model Multi-Node Distributed Training / GPTNEOX：大言语模型多节点分布式练习
- Experiment Tracking / 试验盯梢
- PyTorch DDP – Multi node training with PyTorch DDP, torch.distributed.launch, torchrun and mpirun / Pytorch DDP：运用Pytorch DDP、Torch.distributed.Launch、Torchrun和Mpirun进行多节点练习
研讨&论文
大众号后台回复关键字 日报，免费获取整理好的论文合辑。
科研发展
- 2022.09.06 『图画生成』 A Survey on Generative Diffusion Model
- 2022.09.14 『比照学习』 SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding
- 2022.09.08 『人脸组成』 Text-Free Learning of a Natural Language Interface for Pretrained Face Generators
⚡ 论文：A Survey on Generative Diffusion Model
论文时刻：6 Sep 2022
范畴使命：图画生成
论文地址：arxiv.org/abs/2209.02…
代码实现：github.com/chq1155/A-S…
论文作者：Hanqun Cao, Cheng Tan, Zhangyang Gao, Guangyong Chen, Pheng-Ann Heng, Stan Z. Li
论文简介：This survey makes a summary of the field of the diffusion model./这份调查报告对分散模型的范畴做了一个总结。
论文摘要：得益于深度埋伏表征，深度学习在生成使命中显示出巨大潜力。生成模型是一类能够随机生成与某些隐含参数有关的观察结果的模型。最近，分散模型凭仗其强大的生成能力，成为生成模型的一个提高类别。现在，已经取得了巨大的成果。除了核算机视觉、语音生成、生物信息学和自然言语处理之外，更多的使用将在这一范畴得到探究。但是，分散模型有其天然的缺点，即生成过程缓慢，导致了许多增强的作业。本调查对分散模型的范畴进行了总结。咱们首要经过两个里程碑式的作业–DDPM和DSM来阐明主要问题。然后，咱们提出了多种加速分散模型的先进技术–练习方案、无练习抽样、混合建模和分数与分散一致。关于现有模型，咱们还根据具体的NFE提供了FID得分、IS和NLL的基准。此外，咱们还介绍了分散模型的使用，包含核算机视觉、序列建模、音频和人工智能的科学。最后，咱们对这一范畴进行了总结，并提出了限制和进一步的方向。
⚡ 论文：SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding
论文时刻：14 Sep 2022
范畴使命：Contrastive Learning，比照学习
论文地址：arxiv.org/abs/2209.06…
代码实现：github.com/alibabarese…
论文作者：Wanwei He, Yinpei Dai, Binyuan Hui, Min Yang, Zheng Cao, Jianbo Dong, Fei Huang, Luo Si, Yongbin Li
论文简介：Pre-training methods with contrastive learning objectives have shown remarkable success in dialog understanding tasks./具有比照性学习方针的预练习办法在对话了解使命中显示出了显着的成功。
论文摘要：具有比照性学习方针的预练习办法在对话了解使命中显示出显着的成功。但是，现在的比照性学习仅将自我增强的对话样本视为活跃的样本，而将一切其他的对话样本视为消沉的样本，这使得即使是语义相关的对话也有不同的表征。在本文中，咱们提出了SPACE-2，一个树状结构的预练习对话模型，它经过半监督的比照性预练习，从有限的已符号的对话和大规模的未符号的对话体中学习对话表征。具体来说，咱们首要界说了一个通用的语义树结构（STS）来一致不同对话数据集的不一致的注释模式，这样就能够使用一切符号数据中存储的丰富结构信息。然后，咱们提出了一个新颖的多视图得分函数，以提高一切可能的对话的相关性，这些对话共享相似的STS，并且在监督比照预练习期间只推开其他彻底不同的对话。为了充分使用未符号的对话，还增加了一个根本的自监督比照丢失，以完善所学的表征。试验表明，咱们的办法能够在由七个数据集和四个盛行的对话了解使命组成的DialoGLUE基准上取得最先进的结果。为了保证可重复性，咱们将代码和数据发布在 github.com/AlibabaRese…
⚡ 论文：Text-Free Learning of a Natural Language Interface for Pretrained Face Generators
论文时刻：8 Sep 2022
范畴使命：Face Generation，人脸组成
论文地址：arxiv.org/abs/2209.03…
代码实现：github.com/duxiaodan/f…
论文作者：Xiaodan Du, Raymond A. Yeh, Nicholas Kolkin, Eli Shechtman, Greg Shakhnarovich
论文简介：We propose Fast text2StyleGAN, a natural language interface that adapts pre-trained GANs for text-guided human face synthesis./咱们提出了Fast text2StyleGAN，这是一个自然言语界面，能够将预先练习好的GANs用于文本辅导的人脸组成。
论文摘要：咱们提出了Fast text2StyleGAN，这是一个自然言语界面，能够将预先练习好的GANs适应于文本辅导的人脸组成。使用比照性言语-图画预练习（CLIP）的最新发展，在练习期间不需要文本数据。Fast text2StyleGAN被表述为一个条件变异主动编码器（CVAE），在测验时为生成的图画提供额外的操控和多样性。咱们的模型在遇到新的文本提示时不需要从头练习或微调GANs或CLIP。与之前的作业比较，咱们不依靠于测验时的优化，使咱们的办法比之前的作业快了好几个数量级。根据经验，在FFHQ数据集上，与之前的作业比较，咱们的办法能更快、更准确地从具有不同细节水平的自然言语描绘中生成图画。
咱们是 ShowMeAI，致力于传达AI优质内容，共享行业解决方案，用常识加速每一次技术生长！
◉ 点击 日报合辑，在大众号内订阅话题 #ShowMeAI资讯日报，可接纳每日最新推送。
◉ 点击 电子月刊，快速阅读月度合辑。
