标签

 ai 

相关的文章:

枫言枫语 -

Vol. 104 科技快乐星球21: 大公司都在挤AI

上一期节目还没发布,Sam Altman就回去OpenAI继续当CEO了,这个AI圈里的人和事变化比变天还快。Sam这通操作直接把同期微软和Github的发布会给淹没下去了。 近期AI的消息很多,在持续一年的由ChatGPT,Stable Diffusion,MidJourney等大热AI产品掀起新一轮科技热潮之后,似乎硅谷所有大公司都挤进了这场竞争。 就让我们跟随今天的科技快乐星球,一起一探究竟吧! *P.S. 感谢《技术播客节》活动邀请,本期节目是参与《技术播客节》的一期。与我台同日更新的还有诸多友台关于AI话题的探讨,感兴趣的小伙伴们可以找来听一听。*技术播客节——让声音,带你领略技术的五彩斑斓 时间轴 00:00:00 开场 00:01:29 Sam altman返回OpenAI担任CEO 00:05:37 微软Ignite大会与Github Universe发布会 00:02:09 OpenAI Plus暂停注册 00:15:49 马一龙的Cybertruck终于发售 00:23:24 基于AI的新随身硬件: Humane AI Pin 00:29:12 苹果允许第三方App Store,禁止摇一摇广告? 00:46:54 小程序短剧爆火 00:51:49 Steam Deck与TGA 2023 00:54:44 近期影视与动漫更新 相关信息 主播: 枫影 … Continue reading → The post Vol. 104 科技快乐星球21: 大公司都在挤AI first appeared on 枫言枫语.

AI生成摘要 Sam Altman has returned to OpenAI as CEO. The AI industry is experiencing rapid changes. After the success of AI products such as ChatGPT and Stable Diffusion, many Silicon Valley companies have entered the competition. The article also mentions other topics such as the release of Cybertruck, the Humane AI Pin, and recent updates in film and animation.

相关推荐 去reddit讨论

Rust.cc -

【Rust与AI】概览和方向

本系列主要介绍Rust与AI的那些天作之合(开源项目),我们会以开源项目代码阅读的方式推进,以Rust为主,同时科普AI相关知识,目的是让更多非算法、非Rust的程序员进一步学习Rust和AI相关知识。当然,很显然地,我们也希望Rust程序员和AI算法工程师能从中有所收获。前者可以关注AI算法的设计和优化,后者可以关注Rust如何助力AI算法。 本篇是系列第一篇,主要介绍Rust和AI各自的特点与发展近况,以及它俩的遇见会碰撞出怎样的火花。我们热爱AI,我们喜欢Rust语言,仅此而已。 当前发展 AI与LLM 随着ChatGPT的发展浪潮,AI又一次迎来了发展良机,很多应用、服务都在基于大模型重新设计。同时,由于大模型的超能力,应用的开发门槛进一步下降,一些新的创意产品在不断涌现。总的来说,在AI应用领域呈现出了一片欣欣向荣、百家争鸣的景象。 这一切的背后是ChatGPT为代表的大语言模型(后面以LLM代替),LLM以序列方式根据给定上下文生成文本,它对上下文的精准理解能力和基于此的生成能力都令人赞叹。作为一名从业多年的自然语言处理(后面以NLP代替)工程师,可以负责任地说,LLM的能力确实远超此前的语言模型,尤其是理解方面。 LLM的最大特点是大,这里的大是指参数量非常多。也就是说,无论是加载还是运行这样一个模型,都需要消耗比较多的资源。要想让模型执行的快,性能就成了绕不开的坎。 参数其实就是很多很多的数字,一般来说都是FP32的浮点数,但浮点数可以通过量化降低到FP16、BF16或Int,量化后内存的占用明显是降低了的,一般也会同时带来执行速度的提升。 抛开语言、模型架构和量化先不谈,要加速执行很多数字的运算,一般我们可以想到的最容易的解决方案大概就是并行。没错,并行是当前LLM甚至深度学习最通用的方案,典型代表就是使用类似GPU、TPU这样的专用设备来加速。当然,即使没有这些设备,普通CPU甚至移动端的CPU都可以利用数据级并行、指令级并行、线程级并行等方案来加速。除了并行,还可以优化存储层次和传输,进一步提升性能。 上面提到这些优化方案都和计算机底层有关,一般来说都需要用到C语言或C++编程,现在我们有了新的选择——Rust。其实,这个“现在”应该可以再提前个几年,毕竟Rust在AI领域默默发力已经有些时日了。C语言和C++都是非常强大的语言,不过相较而言,Rust在某些方面表现的更好。 Rust Rust的来龙去脉我们就不赘述了,就凭“在StackOverflow年度开发者调查报告中连续几年获得最受欢迎编程语言”这一点就值得我们去认真学习一下。关于Rust语言的“好”这里也不多赘述,仅从个人角度谈几点自己的感觉。 首先,Rust代码只要编译通过,运行一般不会出问题。虽然一开始与编译器作斗争这件事可能让人抓狂,但比起用gdb去分析dump应该要好上很多吧。而且,编译器的提示越来越友好,作斗争的过程其实是个不断学习相关知识的过程,这种所见所得的及时反馈应该也是极其理想的学习方式吧。 其次,语法更加清晰。个人比较倾向于在编程时显式地指定数据类型和范围,比如i8表示8位有符号整数,这样一方面强迫自己理解代码(而不是默认一个int64),另一方面也方便日后自己或他人阅读。这点可能是之前从Python开始入门编程项目导致的。另外,它对错误的处理方式个人比较认同和喜欢,这都是代码清晰的表现。 第三,设计更加合理。Struct和Trait以及其相关的设计深得个人喜爱,还有生命周期。和很多人不一样的是,个人比较喜欢生命周期的设计思想,可能也是源于喜欢“显式”吧。 第四,代码更加优雅。控制分支中的match是个人最爱,还有模板、函数式编程、闭包,以及链式调用,代码看起来让人赏心悦目。 …… 此外还有优雅的并发操作,测试的组织,文档的集成,等等都让人欲罢不能。唯一要吐槽的可能是智能指针相关的内容,的确有些复杂。不过瑕不掩瑜,总的来说,Rust值得任何一个热爱编程的程序员去尝试。 双剑合璧 其实用到C++的地方都可以用Rust再写一遍,简单来说,和底层相关的代码都可以Rust掉,AI方面也不例外。接下来,我们就谈谈Rust和AI可以合璧的地方。 推理 首先是推理。这个方向是最自然、最值得关注的方向,尤其是端侧。Server端由于GPU的广泛应用,导致现在CUDA+C/CPP几乎成了垄断。不过随着Rust加入Linux内核,以及Huggingface的大量使用,当然也有Rust自己在GPU领域的不断推动,我们相信Rust在Server端也会有一席之地。 端侧,尤其是以RISC-V为基础架构的智能终端是Rust一直以来深耕的领域。更令人振奋的是前不久Vivo发布的用Rust全新构建的BlueOS,主打的就是新一代AI操作系统。我们相信Rust在智能终端有着非常广阔的前景。 前面已经提到了LLM时代的特点是模型很大,推理很慢,需要性能提升。而且随着LLM的进一步发展,性能必定会变得更加重要,Rust由于其优秀的语言特性,正好接到这一棒。我们笃信Rust+AI大模型是最适合的搭档组合。 中间件 再下来是中间件。准确来说是和AI大模型相关的中间件,首当其冲的是向量检索相关库,这就不得不提大名鼎鼎的Qdrant了,性能优秀,而且非常容易使用。顺带提一下对标全文检索框架ElasticSearch的melisearch,经过多年的发展已经是比较成熟的框架了,这个领域还有很多其他框架,比如tantivy、Toshi、lnx、websurfx等。 另外值得一提的是将全文检索、语义检索融合到SQL搜索的paradedb,这个项目的设计思路可以给我们很多启发。此外还有处理表格的polars、可视化pipeline的vector、文档图数据库surrealdb、时序数据库ceresdb等等。当下火热的Agent也不是没有,比如smartgpt。 这块范围其实是非常广泛的,除了基础组件,可以想象的内容还很多,比如记忆模块、任务调度、资源池、任务定义、流程设计等等。这些组件几乎都是围绕着LLM使用的,我们相信LLM带来的远不止这些,而且随着应用层的不断丰富和发展,还会衍生出更多的需求。 训练 最后说一下训练。Rust开始做推理,自然有人把它放到训练侧,不过目前看起来这块还处于尝试和起步阶段。我们比较看好它在相对稳定的工程领域使用,但不看好在算法领域的普及。 对于前者,无论哪种语言,一般都会提供简单易用的API或命令行,使用者大多数时候只需要根据要求准备好数据即可进行训练。但对于后者,经常需要涉及底层算法架构的调整和修改,甚至需要新加入或去掉一些模块,这方面Python实在是具备绝对优势,而且平心而论,PyTorch做这些操作相对是比较方便的。Torch一开始也是lua写的,不温不火,后面加了Python后,慢慢打败了Caffe、TensorFlow,现在稳坐第一把交椅。Rust要向当年的Torch一样吗,可是这样在Python侧的区别在哪里?接口上大概率还是和现在的PyTorch接近,就像transformers库流行后,PaddleNLP、ModelScope的接口不能说和其很像,大概只能说一样了。对使用者来说,迁移是没必要的,除非不得不这样做,比如在端侧训练,也许对Rust来说是一个不错的方向。 其他 前面说的是正向的,这里简单谈一下可能面临的冲击。 首先依然是C和C++,它们当下是主流,谁能说未来不能继续是主流呢,而且对使用者来说,反正上面是方便的Python,谁会管下面怎么实现的。 再就是其他新语言,比如专为AI而生的Mojo,它的定位是Python的易用性+C语言的性能。虽然Mojo目前还处于极其早期阶段,但这至少是个苗头:在AI主导的未来,指不定会有更AI的语言设计出来。那会不会有专门为大模型设计的语言呢? 不过,总的来说,我们先关注Rust吧。 开源项目 下面我们列举一些Rust相关的AI项目,囿于笔者知识范围,所列内容不一定全面,如果读者有更好的开源项目推荐,尤其是大模型相关的,欢迎随时推荐。这些资源也是系列后续阅读的项目。 LLM推理 rustformers/llm: An ecosystem of Rust libraries for working with large language models Noeda/rllama: Rust+OpenCL+AVX2 implementation of LLaMA inference code srush/llama2.rs: A fast llama2 decoder in pure Rust. leo-du/llama2.rs: Inference Llama 2 in one file of zero-dependency, zero-unsafe Rust gaxler/llama2.rs: Inference Llama 2 in one file of pure Rust 🦀 huggingface/text-generation-inference: Large Language Model Text Generation Inference Agent Cormanz/smartgpt: A program that provides LLMs with the ability to complete complex tasks using plugins. NLP huggingface/tokenizers: 💥 Fast State-of-the-Art Tokenizers optimized for Research and Production guillaume-be/rust-bert: Rust native ready-to-use NLP pipelines and transformer-based models (BERT, DistilBERT, GPT2,...) 图像 LaurentMazare/diffusers-rs: An implementation of the diffusers api in Rust twistedfall/opencv-rust: Rust bindings for OpenCV 3 & 4 Code huggingface/llm-ls: LSP server leveraging LLMs for code completion (and more?) Framework huggingface/candle: Minimalist ML framework for Rust coreylowman/dfdx: Deep learning in Rust, with shape checked tensors and neural networks tracel-ai/burn: Burn is a new comprehensive dynamic Deep Learning Framework built using Rust with extreme flexibility, compute efficiency and portability as its primary goals. spearow/juice: The Hacker's Machine Learning Engine rust-ml/linfa: A Rust machine learning framework. tensorflow/rust: Rust language bindings for TensorFlow sonos/tract: Tiny, no-nonsense, self-contained, Tensorflow and ONNX inference smartcorelib/smartcore: A comprehensive library for machine learning and numerical computing. The library provides a set of tools for linear algebra, numerical computing, optimization, and enables a generic, powerful yet still efficient approach to machine learning. neuronika/neuronika: Tensors and dynamic neural networks in pure Rust.

AI生成摘要 本文介绍了Rust与AI的结合,以及它们各自的特点和发展。Rust在AI领域有广阔的前景,可以用于推理、中间件和训练等方面。文章列举了一些与Rust相关的开源项目。

相关推荐 去reddit讨论

phodal -

生成式 AI 应用落地小结:高估的模型能力,低估的工程实施

虽然 ChatGPT 已经诞生了一周年,但是大量的人依旧对于生成式 AI 没有足够的认识。在研发领域,Thoughtworks 一直在与不同的大型企业合作,保持开放性的探索。

AI生成摘要 Thoughtworks has been collaborating with large enterprises to explore and build open-source projects in the field of generative AI. They have developed Unit Mesh as part of their open-source AI development system. Unlike other areas where generative AI is applied, many companies have transitioned from a workshop development approach to a standardized one. Thoughtworks believes that the experience in IDEs can be applied to other software development scenarios. They have explored different models and techniques to enhance coding and writing experiences, such as strong contextual generation, custom AI actions, and integration with existing frameworks. They emphasize the need for multiple models to assist with different subtasks and the continuous fine-tuning of models based on user feedback. Overall, generative AI can enhance productivity but should be seen as a comprehensive assistant rather than a one-stop solution.

相关推荐 去reddit讨论

小众软件 -

IP工具箱:开源 IP 信息查看器,使用 AI 写了 70% 代码,上线12天,GitHub 已获 900+ 星

IP 工具箱是一款开源的 IP 信息查看器,它可以查看IP、IP 信息(代理前后)、检查 DNS 泄露、检查 WebRTC 连接、测试网站可用性等。@Appinn IP 工具箱的开发者与 Macify

AI生成摘要 IP 工具箱是一款开源的IP信息查看器,可以查看IP、IP信息、检查DNS泄露、检查WebRTC连接、测试网站可用性等。开发者通过ChatGPT编写了70%的代码,提供了IP归属地信息和网络连接性测试等功能。可以在GitHub上获取并直接使用。

相关推荐 去reddit讨论

idealclover -

用AI为Typecho博客文章生成摘要吧!

😭 实在是太久没更新了呜呜呜有细心的读者(或者用 RSS 订阅的读者)已经注意到咧,这两天俺的博客突然多了一栏 AI 摘要,会显示在每篇文章的顶端。最近大语言模型风风火火,便琢磨着给自己的博客文...

AI生成摘要 本文介绍了一款Typecho插件,通过调用ChatGPT或其他AI能力为博客文章自动生成摘要。插件提供了自定义能力,方便用户使用。作者还对比了Kimi Chat和GPT4的生成效果,认为Kimi Chat在处理长文本方面表现不错。插件已开源,欢迎在GitHub上给予支持。

相关推荐 去reddit讨论

蓝点网 -

AI也可以被小费欺骗:测试显示使用ChatGPT表示给小费时回答效果更好

得亏现在的 AI 还没有实体不具备伤害人类的能力,不然迟早得把某些用户扬了... 我们知道 ChatGPT 使 […]

AI生成摘要 AI模型ChatGPT对小费有积极反应,回答更详细。测试结果显示,告诉ChatGPT会给小费时,回答字符数高于基准。但回答详细并不一定质量更好。用户不需要真的给ChatGPT小费,这只是测试。

相关推荐 去reddit讨论

dotNET跨平台 -

Blazor 配 AI 还是头一回

准备学习Blazor 有点不知所措,看了一下官网文档,有了初步了解。想用Blazor封装一些组件,比如视频组件。但是我不会啊~ 想着AI这么火热,不如跟着AI学习吧。说做就做。我发了如下内容:????使用blazor如何封装 videojs然后AI开始回答:????在Blazor应用程序中封装Video.js视频播放器涉及到以下几个步骤:添加Video.js引用: 在你的Blazor项目的w...

AI生成摘要 本文介绍了如何在Blazor应用程序中封装Video.js视频播放器。首先需要在Blazor项目的index.html或_Host.cshtml文件中添加Video.js的CSS和JavaScript引用。然后创建一个新的Blazor组件,在组件中设置HTML标记来定义video元素。接下来使用JavaScript interop调用来初始化和销毁Video.js实例。最后在其他Blazor组件或页面中使用VideoPlayer组件,并传递VideoUrl和VideoType参数。文章提供了代码示例和注意事项。

相关推荐 去reddit讨论

The Keyword -

Seizing the AI opportunity in Europe

Photograph of Kent on stage

AI生成摘要 人工智能(AI)将加速科学发现,推动可持续发展、食品安全和疾病治疗等领域的工作。例如,DeepMind的AlphaFold已经发现了几乎所有已知蛋白质的形状,相当于近4亿人年的科学进展。AI还能提高生产力和竞争力,据报告显示,生成式AI可使欧盟经济增加1.2万亿欧元,并节省每位工人70小时的工作时间。欧洲有机会在AI领域取得领先地位,但需要制定新的法律和政策框架,培养AI人才,促进负责任的创新和投资。AI的发展需要创新和监管的平衡,需要广泛的监管专业知识和基于风险的规则。AI不仅能解决社会问题,还能提升欧洲的地缘政治影响力和竞争优势。

相关推荐 去reddit讨论

蓝点网 -

由于AI功能图标存在乱飞的问题 微软暂停推送Windows 11 23H2版

据 Windows 10 和 Windows 11 健康仪表盘发布的最新消息,微软已经确认 Windows C […]

AI生成摘要 微软确认Windows Copilot在多显示器上存在乱飞问题,已在健康仪表盘中记录。为降低影响,多显示器用户将不会收到Windows 11 23H2版本的推送。企业管理员可通过问题ID了解并采取措施。用户升级时需注意使用Windows Update或易升,以避免兼容性问题。

相关推荐 去reddit讨论

华为云官方博客 -

基于AI的架构优化:创新数据集构造法提升Feature envy坏味道检测与重构准确率

以Feature envy架构坏味道为例,利用一系列启发式规则和一个基于决策树的分类器,实现了一种基于真实数据的高质量重构数据集构造方法,并利用此方法构建的数据集将Feature envy架构坏味道的检测与重构准确率提升到业界SOTA水平。

AI生成摘要 华为云基于AI实现架构坏味道重构取得业界突破。通过启发式规则和决策树分类器构建高质量的训练数据集,提升Feature envy架构坏味道的检测与重构准确率。该方法已被软工顶会FSE 2023收录。通过挖掘移动方法重构示例,训练Feature envy检测模型,并提供解决方案。与其他方法相比,该方法在准确性和重构推荐上有明显提升。

相关推荐 去reddit讨论

...
天勤数据
...
白鲸技术栈
...
eolink
...
ShowMeBug
...
LigaAI
...
Dify.AI
...
观测云
推荐或自荐