标签

 原理 

相关的文章:

结构之法 算法之道 -

代码生成的原理解析:从Codex、GitHub copliot到codeLlama、codegeex

我们在这篇文章《》中的2.5节有提到,“2021 年7月,OpenAI发布Codex的论文《》,其中初始的Codex是根据120亿参数的GPT-3变体进行微调的,且通过对159GB的Python代码进行代码训练,后来这个120 亿参数的模型演变成OpenAI API中的code-cushman-001,具备较强的代码/推理能力”接下来,我们来看下Codex背后的原理到底是怎样的,即其是如何一步一步训练出来的。

AI生成摘要 本文介绍了代码生成的发展史和技术原理。首先介绍了GitHub copilot的起源,即Codex,以及其评估效果。然后详细解释了pass@k度量的计算逻辑。接着介绍了Codex的训练全流程,包括通过159G的Python代码微调GPT3和训练方法。最后介绍了微软GitHub copilot和Code Llama,包括Code Llama的训练流程、工作原理和性能。

相关推荐 去reddit讨论

肘子的Swift记事本 -

SwiftUI geometryGroup() 指南:从原理到实践

在 WWDC 2023 中,苹果为 SwiftUI 添加了一个新的修饰器:geometryGroup()。它可以解决一些之前无法处理或处理起来比较困难的动画异常。本文将介绍 geometryGroup() 的概念、用法,以及在低版本 SwiftUI 中,在不使用 geometryGroup() 的情况下如何处理异常。

AI生成摘要 在WWDC 2023中,苹果为SwiftUI添加了一个新的修饰器:geometryGroup()。它可以解决一些动画异常的问题。geometryGroup()将视图的几何属性与其父视图隔离开来,强制父视图解析和动画化位置和大小的值,然后传递给每个子视图。使用geometryGroup()可以避免在父视图几何属性发生变化时出现意外的布局结果。

相关推荐 去reddit讨论

京东科技开发者 -

SPI扩展点在业务中的使用及原理分析 | 京东物流技术团队

SPI 全称Service Provider Interface。面向接口编程中,我们会根据不同的业务抽象出不同的接口,然后根据不同的业务实现建立不同规则的类,因此一个接口会实现多个实现类,在具体调用过程中,指定对应的实现类,当业务发生变化时会导致新增一个新的实现类,亦或是导致已经存在的类过时,就需要对调用的代码进行变更,具有一定的侵入性。

AI生成摘要 SPI是Service Provider Interface的缩写,是一种基于接口的编程和策略模式的动态加载机制。在京喜业务中,通过SPI扩展点的方式实现仓储中台和京喜BP的合作。SPI提供了两种方式的接口实现:jar包方式和jsf接口方式。jar包方式需要在调用方提供的jar中定义接口和实现类,而jsf接口方式通过配置jsf接口的别名来识别扩展点。SPI的好处是实现扩展无需改动源码,几乎没有侵入性,只需要添加配置即可实现扩展。

相关推荐 去reddit讨论

结构之法 算法之道 -

视频生成的发展史及其原理解析:从Gen2、Emu Video到PixelDance、SVD、Pika 1.0

第一种是基础模式(Basic Mode),用户只需要提供一张指导图片+文本描述,PixelDance 就可以生成有高度一致性且有丰富动态性的视频,其中指导图片可以是真实图片,也可以利用现有的文生图模型生成。而达到这样拔群的视频生成效果,并没有依赖复杂的数据集和大规模的模型训练,PixelDance 在公开的 WebVid-10M 数据集上仅用 1.5B 大小的模型就达到了上述效果。),引发了开源社区的大量关注和讨论。迈出了关键性的一步,其生成结果的动态性显著优于目前现有的其它模型,引起了业界的关注。

AI生成摘要 今年,Runway发布了Gen-1和Gen-2模型,提升了视频生成的一致性,但牺牲了动态性。Meta发布了Emu Video,动态性有所提高。Stability.ai发布了SVD模型,效果与Gen-2相当,但缺乏动态性。PixelDance是视频生成领域的重要研究成果,可以生成高度一致且丰富动态的视频。PixelDance有两种生成模式,基础模式和高级魔法模式。它可以根据用户提供的图片和文本生成各种风格的视频。PixelDance的生成效果出色,不依赖复杂的数据集和大规模的模型训练。PixelDance的论文提出了基于文本和图片指导的视频生成方法。作者正在积极迭代模型效果,未来2-3个月将发布试用模型。

相关推荐 去reddit讨论

京东科技开发者 -

Promise规范与原理解析 | 京东物流技术团队

Promise对象用于清晰的处理异步任务的完成,返回最终的结果值,本次分享主要介绍Promise的基本属性以及Promise内部的基础实现,能够帮我们更明确使用场景、更快速定位问题。

AI生成摘要 本文介绍了Promise对象的基本属性和内部实现,以及Promise出现的原因。在介绍之前,作者展示了使用回调函数处理异步请求的代码,指出了回调地狱的缺点。然后,作者详细解释了Promise的基本概念,包括含义、状态和特点。接着,作者讨论了Promise中resolve和reject的作用以及结果的决定方式。最后,作者给出了一个简单的Promise实现,并解释了resolve返回Promise对象时的内部执行顺序。总的来说,Promise的出现解决了回调地狱的问题,使代码更清晰、可读性更好,并且方便异常处理。

相关推荐 去reddit讨论

FreeBuf网络安全行业门户 -

Jsp Webshell原理性探究的那些事

这里主要是从JSP webshell的演进史来分析每一种变种的原理与构造方式(更新ing)

AI生成摘要

相关推荐 去reddit讨论

京东科技开发者 -

MYSQL 事务的底层原理

一、事务的底层原理在事务的实现机制上,MySQL 采用的是 WAL:Write-ahead logging,预写式日志,机制来实现的。在使用 WAL 的系统中,所有的修改都先被写入到日志中,然后再被应用到系统中。通常包含 redo 和 undo 两部分信息。为什么需要使用 WAL,然后包含 redo 和 undo 信息呢?举个例子,如果一个系统直接将变更应用到系统状态中,那么在机器掉电重启之后系统...

AI生成摘要 MySQL使用WAL机制实现事务,包括redo和undo日志。事务id分为只读和读写事务,只有在对表进行增删改操作时才会分配事务id。MVCC用于提高数据库并发性能,通过版本链控制并发事务访问记录。InnoDB使用Buffer Pool缓存页,将脏页刷新到磁盘。redo日志记录事务修改,undo日志用于回滚操作。

相关推荐 去reddit讨论

dotNET跨平台 -

.NET8 JIT核心:分层编译的原理

1.前言.NET8正式版于今天发布了,很多人期待已久。我们继续来看下核心部分的技术,在JIT里面个人认为核心的部分不是:MSIL二进制,BasickBlock,IR中间表示,机器码生成,而是分层编译。本篇来看下它的原理。2.概述分层编译在.NET Core2.0中引入,在.NET Core3.0中启用。在.NET8里面已经完全成熟,可以经过分层编译优化(GDV,PGO,OSR,Quick等等)之后...

AI生成摘要 .NET 8 has been officially released, and the core part of the technology is layered compilation. Layered compilation was introduced in .NET Core 2.0 and enabled in .NET Core 3.0. It allows for optimization after compilation, resulting in performance similar to C++. In previous versions, once a managed function was compiled, its entry point could not be changed. With layered compilation, the entry point is managed by the CodeVersionManager class. When a function meets certain criteria, such as running a certain number of times or exceeding a certain compilation time, it undergoes layered compilation. The layered compilation thread runs concurrently with the JIT thread and replaces the function's entry point. The layered compilation process stops after all functions have been replaced, and new functions will be processed in subsequent rounds.

相关推荐 去reddit讨论

京东科技开发者 -

MYSQL 事务的底层原理 | 京东物流技术团队

从上边的描述中可以看出来,所谓的 MVCC(Multi-Version Concurrency Control ,多版本并发控制)指的就是在使用 READ COMMITTD、REPEATABLE READ 这两种隔离级别的事务在执行普通的 SELECT 操作时访问记录的版本链的过程,这样子可以使不同事务的读写、写读操作并发执行,从而提升系统性能。

AI生成摘要 修改Buffer Pool中的脏页不立即同步磁盘,而是记录在flush链表,由后台线程定时刷新。redo日志记录事务修改,保证持久性,减少IO消耗。undo日志记录数据原始状态,支持回滚保证原子性。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

通过信息瓶颈原理进行文本表示精简

为了使模型更加易用,我们提出了一种基于信息瓶颈的知识蒸馏方法 IBKD,通过最大化教师模型和学生模型的最终表示之间的互信息,并减少学生模型表示和输入数据之间的互信息,以保留重要的学习信息并避免过拟合的风险,从而有效地在文本表示和下游任务中应用。

AI生成摘要 我们提出了一种基于信息瓶颈的知识蒸馏方法IBKD,旨在提高模型易用性。该方法通过增强教师与学生模型表示间的互信息,减少学生模型与输入数据间的互信息,有效避免过拟合,适用于文本表示和下游任务。

相关推荐 去reddit讨论

热榜 Top10
...
白鲸技术栈
...
天勤数据
...
Dify.AI
...
ShowMeBug
...
LigaAI
...
观测云
...
eolink
推荐或自荐