原创AI技术博客

正则化是一种基本技术，通过限制模型的复杂性来防止过度拟合并提高泛化性能。目前的深度网络严重依赖正则化器，如数据增强（DA）或权重衰减，并采用结构风险最小化，即交叉验证，以选择最佳的正则化超参数。然而，正则化和数据增强对模型的影响也不一定总是好的。来自Meta AI研究人员最新的论文发现，正则化是否有效与类别高度相关。

《Python Notes For Professionals》是StackOverflow上的人总结的Python使用方法。

今晚已经是本周的最后一天了，最近的一些深度学习算法方面的进展做个总结吧，感觉都是挺不错的，供大家参考。

Jupyter Notebook虽然在教学等领域有着非常大的优势，但是实际编程中，它的效率、可维护性等方面与python脚本相比的差距到底在哪也一直不那么清晰。就在上个月底，JetBrains的研究人员使用了大量的数据详细对比了二者的差异。这里总结一下其主要结论。

Python是目前最流行的编程语言，也是开放生态做得最好的编程语言之一。大多数深度学习框架、机器学习的框架都有很优秀的Python版本。这篇博客主要为大家介绍5个python生态系中解决NLP任务的框架。

今天，时隔一年后，OpenAI发布了第二代的DALL·E模型。相比较第一代的模型，DALL·E 2，以4倍的分辨率生成更真实和准确的图像。

今天，Google介绍了一个新的语言模型，一个Pathways语言模型：PaLM，这是一个用Pathways系统训练的5400亿个参数、仅有dense decoder的Transformer模型，在数百个语言理解和生成任务上对PaLM进行了评估，发现它在大多数任务中实现了最先进的性能，在许多情况下都有显著的优势。

3月29日，DeepMind发表了一篇论文，"Training Compute-Optimal Large Language Models"，表明基本上每个人--OpenAI、DeepMind、微软等--都在用极不理想的计算方式训练大型语言模型。论文认为这些模型对计算的使用一直处于非常不理想的状态。并提出了新的模型缩放规律。

昨天，Copilot团队推出了一个名为GitHub Copilot Labs的VS Code配套扩展。它独立于（并依赖于）GitHub Copilot扩展。它可以用来解释代码和翻译代码。

不久前，Java18发布，至此这款编程语言已经走过三十多年。随着近几年深度学习的发展，python已经开始霸榜编程语言，Java的流行度似乎下降很多。那么，如今的Java到底是什么状态，未来它的方向在哪？近期，JRebel对中大型企业技术人员的访谈，给我们一些指引和回答。

异质表格数据是最常用的数据形式，对于众多关键和计算要求高的应用来说是必不可少的。在同质数据集上，深度神经网络已多次显示出优异的性能，因此被广泛采用。然而，它们在表格数据建模（推理或生成）方面的应用仍然具有高度挑战性。

重磅新论文！北京人工智能研究员与清华大学、腾讯、华为、字节等公司一起发表了一篇关于大规模预训练模型路线图的论文。

Firebolt开发了一个数据工程师的网页小游戏，带你体验数据分析的全流程。游戏里你扮演一个数据工程师，从数据收集开始，经历数据pipeline、数据入数据湖以及数据分析等，最终形成各种图表的结果。

FT1000是金融时报评选的欧洲增长速度最快的前1000个公司，这个名单可以看出来过去几年欧洲哪些企业增长较快，它们在哪些行业经营等。2022年的榜单也刚刚发布，让我们一睹为快。

仅仅使用来自人类数据集的机器学习，在短短9个小时内，日本研究人员让一个机器人学会了如何拿起和剥开香蕉。

大家都知道，编程的开发离不开互联网的支持，不管是编程的学习还是bug的修复，都需要社区和外部的支持。因此，我们全新开通了一个程序必备网站列表栏目，为大家提供一站式访问目录。也欢迎评论，大家可以说一下你们写代码时候喜欢用的网站，我们也会更新上去。在这里我们挑选几个必备网站简单介绍一下。

Anubis是一个分布式LMS（学习管理系统），由John Cunniff创建，专门为CS课程的自动化而设计。Anubis已经在纽约大学坦登分校使用并经过了几个学期的测试。这个系统的主要目的是自动为提交的作业评分，并提供了一个云IDE解决方案，以简化学生的体验。

CVPR2022的一篇论文带来了一个39亿参数的自回归图像模型公开了他们的代码和论文。

最近几年，数据的重要性在各个领域都获得了巨大的重视。因此，数据管理相关的业务也成为各项基础设施中增长最快的业务，目前的市场规模约700亿美元，占所有企业的基础设施支持约1/5。仅在2021年，数据处理相关的公司获得了数百亿的风险投资。为此，Future总结了2022年全球最大的50家数据创业企业。这里我们列举其中的最大的10个进行介绍。

前几天，北京智源人工智能研究院引入了一个名为WuDaoMM的大规模多模态语料库，总共包含超过6.5亿对图像-文本。具体来说，约有6亿对数据是从图像和标题呈现弱相关的多个网页中收集的，另外5000万对强相关的图像-文本是从一些高质量的图片网站中收集的。

人工智能指数是斯坦福大学以人为本人工智能研究所（Stanford Institute for Human-Centered Artificial Intelligence (HAI)）联合学术界、工业界的专家一起发布的人工智能相关的发展报告。2022年度AI指数报告在近几日发布。

OpenAI在3月15日发布了一个最新的GPT-3和Codex的版本，这个版本最大的能力就是可以在已有的文本上插入或者编辑新的内容。而不是续写已有的文本。这个能力最大的应用就是重写已有文本，或者用来重构代码。

去年5月份的时候，Python创始人Guido van Rossum在参加Language Summit时候说他希望Python3.11能在性能上获得巨大的提升，可以实现性能翻倍。目前看，似乎已经有了很大的希望！