08-iOS 多媒体技术|图形编程框架OpenGL、OpenGL ES、Metal要点回顾【渲染流水线、坐标系、着色器程序、GLSL语言等】
内容提要
本文回顾了iOS多媒体技术中的图形编程框架OpenGL、OpenGL ES和Metal的要点，包括渲染流水线、坐标系、着色器程序和GLSL语言等。文章介绍了图形API的简介，包括OpenGL、OpenGL ES、DirectX和Metal，并讨论了学习OpenGL ES和Metal的选择。文章还解释了图形API的用途，包括游戏开发、音视频处理和地图引擎等。最后，文章介绍了烘托作业流水线的简介，包括CPU和GPU的作用，以及OpenGL ES和Metal的作业环节。
延伸解读
OpenGL ES 与 Metal 的取舍：为何仍需学习 OpenGL ES
尽管苹果自 iOS 12 起弃用 OpenGL ES 并转向 Metal，但文章指出迁移耗时四年，且 OpenGL ES 的弃用仅针对苹果内部底层 API 依赖，其作为第三方库仍被广泛使用。现有大型项目如百度地图、高德地图和音视频处理组因跨平台和稳定性难以立即迁移到 Metal，因此只学 Metal 不够。建议按 OpenGL → OpenGL ES → Metal 的顺序逐步学习。
渲染流水线中 CPU 与 GPU 的分工
文章将渲染流水线分为 CPU 和 GPU 两个阶段。CPU 负责对象的创建销毁、属性调整、布局计算、文本排版、图片解码和 Core Graphics 绘制等数据准备；GPU 则专注于纹理渲染。两者无法直接交互数据，需通过缓存（Buffers）进行数据传递，避免内存复制开销。OpenGL API 作为桥梁，可在 CPU 和 GPU 端工作，协调数据交流。
着色器程序与 GLSL 语言的核心作用
着色器程序是操作 GPU 进行计算的代码，主要包括顶点着色器和片元着色器。顶点着色器处理每个顶点的变换（如旋转、平移、投影），片元着色器处理每个像素的颜色计算和填充。GLSL 是 OpenGL 的着色编程语言，用于编写自定义着色器，替代固定管线，使渲染管线的不同层次具有可编程性，如视图转换和投影转换。
坐标系与投影：从 3D 到 2D 的转换
文章介绍了 2D 和 3D 笛卡尔坐标系，并指出投影是将 3D 坐标转化为 2D 屏幕坐标的关键步骤。投影方法分为正投影和透视投影：正投影用于渲染平面图形，远近物体大小相同；透视投影用于渲染立体图形，呈现远小近大的效果。视口（Viewport）定义了显示窗口区域，可通过 OpenGL 的 glViewPort 设置。
Q&A
OpenGL ES和Metal有什么区别？
OpenGL ES是OpenGL的子集，专为嵌入式设备设计，而Metal是苹果为提高3D图形性能而推出的新技术，支持更高效的图形渲染。
图形API主要用于哪些领域？
图形API主要用于游戏开发、音视频处理和地图引擎等领域。
烘托作业流水线的主要步骤是什么？
烘托作业流水线主要包括CPU准备数据、GPU进行图形渲染、光栅化和像素处理等步骤。
学习OpenGL ES和Metal的顺序应该如何安排？
学习顺序应为OpenGL -> OpenGL ES -> Metal，因为OpenGL ES仍然在许多项目中使用。
着色器程序的主要类型有哪些？
着色器程序主要包括极点着色器、片元着色器和几何着色器等。
光栅化的过程是什么？
光栅化是将几何图元转化为像素的过程，涉及计算每个图元所覆盖的像素信息。
