2024苹果AI创新:个人化智能系统Apple Intelligence深度解析
一、Apple Intelligence:苹果全新个人化AI系统,开启苹果AI新纪元
Apple Intelligence压轴登场,提出五大核心原则。WWDC大会总时长100分钟,开场1小时后Apple Intelligence才正式登场,苹果首次提出引入AI功能五大核心原则Powerful、Intuitive、Integrated、Personal、Private。➢Powerful:足够强大帮助用户完成重要的任务➢Intuitive:直观且易于使用➢Integrated:深入用户的产品体验中➢Personal:足够了解用户,以个人情景为基础,了解用户的日常安排、人际关系、沟通交流等➢Private:注重隐私保护
1.1 Apple Intelligence的能力:能读懂屏幕内容,并调动app执行操作
Apple Intelligence核心能力包括文生文、文生图、跨APP交互和个人情境理解。➢文生文(Language):内置大语言模型理解自然语言,通知栏针对通知内容设定优先级,书写工具提供重写、校对、生成文字摘要等功能,自动支持邮件、备忘录、Safari浏览器、Pages文稿、Keynote以及第三方app➢文生图(Image):在信息、备忘录、Keynote、Pages等app中可根据文字描述生成图片,支持素描、插画和动画三种风格➢跨app交互(Action):可以调动手机常用的app,代替用户执行各种操作,比如调出手机里面的文件、照片、播放博客等➢个人情境理解(Personal context):不仅能从各种app中检索和分析相关程度最高的数据,还能参考屏幕的内容(比如邮件和日程)
1.2 Apple Intelligence的架构:端侧运行大模型,保护用户隐私
Apple Intelligence的架构:硬件(A/M芯片)和软件(苹果端侧大模型+ChatGPT等备选云端大模型)加持,私密云计算为AI隐私设立全新标准。➢硬件:A17 Pro和M系列芯片提供强大算力支持(AI功能仅支持iPhone 15 Pro、M1芯片的iPad和Mac以及后续机型)。➢软件:通过大语言模型和图像生成扩散模型针对用户操作进行快速调整,内置端侧语义索引模型,整理和提炼各种app信息,识别个人数据并将数据传输给相应的生成式模型处理(苹果端侧大模型+ChatGPT等备选云端大模型)。➢隐私保护:苹果将隐私保护功能从端侧设备拓展到云端,推出Private Cloud Compute私密云计算功能,赋予Apple Intelligence更高自由度,引入云端大模型。Apple Intelligence会分析用户请求,判断是否能在端侧处理,如需使用更强算力,可借助Private Cloud Compute功能,将仅与任务有关的数据发送给苹果AI芯片服务器处理,且数据在云端不会被储存,仅用于用户请求,拥有可验证的隐私承诺,为AI隐私设立全新标准。
1.3 Apple Intelligence应用:全新Siri
全新Siri:理解能力更强,可实现多轮对话、内容总结、屏幕内容感知、应用智能交互、个人情境认知等功能。➢理解能力更强:用户语音指令不连贯Siri也能正确理解,还能进行多轮对话。➢输入形式变化:不再局限于语音,可以选择文字或者文字+语音形式与Siri交流。➢APP操作指引功能:即使用户不知道某项功能名称,Siri也能通过用户的简单描述精确理解需求并提供分布操作说明。➢屏幕内容感知功能(On-screen awareness):能够理解屏幕内容并执行相应操作(例如,将短信提及的地址直接加入联系人名片)。
全新Siri:理解能力更强,可实现多轮对话、内容总结、屏幕内容感知、应用智能交互、个人情境认知等功能。➢App内/跨APP操作功能:借助Apple Intelligence的全新协调功能,Siri可以执行数百种APP内以及跨APP的新操作,还会用到新的写作和图像生成功能(例如,搜索照片-修照片-将照片加到备忘录文稿中;将备忘录的摘要分享到邮件)。开发者也可利用App Intents架构进行操作定义。伴随Siri理解能力持续提升,Siri将能在APP中执行更多操作。➢个人情境认知(Personal context):通过对照片、日历和文件等创建语义索引,Siri能发现并理解内容,配合Apple Intelligence隐私保护功能,Siri可以借助这些信息帮助用户完成操作且不泄露隐私。(例如,查找邮件/信息的资料;填驾照号码时Siri能帮用户找出驾照照片并自动填写号码;根据用户琐碎信息规划时间/行程
基于对语言的深刻理解,Apple Intelligence提供写作助手、邮件/通知整理等功能。➢Writing Tools:适用于邮件、备忘录等支持输入的APP。1)重写功能,提供措辞建议,调整语气(更友好/专业/简洁),还可描述希望重写成什么样(甚至要求写成一首诗),校对语法和用词;2)摘要功能。➢邮件:1)智能回复功能(例如,需要回复邮件邀请时,会出现对该邮件的回复建议);2)邮件内容摘要;3)能够识别邮件紧急程度,将优先级邮件置顶。➢通知:将优先级通知置顶并显示通知的摘要。➢专注模式:理解通知内容,选出急待注意的显示给用户,帮助用户保持专注。
苹果首次提出Genmoji、Image Playground、Image wand等图像AI功能。➢Genmoji:根据文字描述生成自定义的Genmoji,且提供多个选择。Apple Intelligence还能识别图库中的人像,用户可选择人像创建神似的Genmoji➢Image Playground:可选择主题、服装、配饰、地点等,自行添加描述,选择图像风格,Apple Intelligence将快速创建效果预览图且提供多个选择,该功能在端侧运行,可应用于信息、Keynote、Pages、无边记等,Image Playground也有专用APP。➢Image wand:支持将草稿图转变成精美图像,让笔记图文并茂。➢照片编辑功能:1)识别并消除背景中的干扰物体;2)使用词组搜索照片&视频;3)智能创建回忆影片。
苹果首次支持通话录音转写功能。➢通话、备忘录均支持录音、转写、摘要功能(通话录音时对方将收到通知),解决了iPhone用户无法录音通话的痛点。◼Apple Intelligence免费提供,对硬件设备有一定要求:24年夏季推出美国英语版试用,秋季Beta版将作为iOS 18、iPadOS 18、macOS Sequoia的一部分推出(免费),其他功能以及语言的支持将在25年陆续推出。硬件方面,支持iPhone 15 Pro(A17 Pro)、配备M1芯片的iPad和Mac以及后续机型。◼ChatGPT应用:将OpenAI GPT-4o融入Siri和Writing Tools,作为苹果端侧模型之外的云端备选模型,供用户选择。集成在iOS 18/iPadOS 18/macOS Sequoia中,无需创建账户便可免费使用,24年晚些时候推出。➢融入Siri:借助ChatGPT在知识型搜索的优势;➢融入全系统适用的writing tools:可用ChatGPT创作任意题材内容,还可配插图;➢无需创建账户也可免费使用ChatGPT,请求和信息不会被记录,已有的订阅用户可关联账户并接入其付费功能。
二、苹果OS(操作系统)更新:引入机器学习技术提供更好操作体验
sionOS 2、全球发售时点
visionOS 2更新:➢照片:1)可在相册中将2D照片转化为空间照片;2)可与亲友共同欣赏全景照片/空间照片/空间视频。➢操作优化:1)抬手+双指互点,打开主屏幕视图;2)翻转手掌+双指互点,打开控制中心,快速调取通知、Mac等功能。➢Mac互连:通过注视可实现Mac无线连接,24年晚些时候mac虚拟屏分辨率将更高、尺寸更大,甚至延展成环绕超宽屏。➢旅行模式(新增对火车的支持);全新API(Volumetric API、TabletopKit、Enterprise APIs);空间视频拍摄(iPhone 15 Pro/Pro Max、Canon全新空间镜头搭配EOS R7数码相机);immersive video(携手Blackmagic Design构建全新制作流程;将发布新视频内容)◼Vision Pro全球发售:6.28中国/日本/新加坡发售,7.12澳大利亚/加拿大/法国/德国/英国发售。
iOS 18更新:➢桌面定义:app位置自定义,APP图标颜色自定义。➢控制中心:轻扫可以看到更多控制项,更具扩展性,还可以调整布局和大小,新的控制项API➢APP锁定功能、隐藏APP功能、联系人访问权限➢信息:1)自定义表情图片;2)定时发送消息发送;3)加粗/斜体/文字效果等强化信息;4)支持卫星短信(iPhone14及之后的机型)➢照片:过滤截屏,精选集,AI应用。➢新增游戏模式、地图离线徒步路线记录等功能。
Airpods➢与Siri互动:AirPods与Siri互动更加简单,不方便语音回复Siri时,可以通过点头或者摇头回应➢语音突显:采用先进的计算音频技术,消除周围背景噪音,提供出色的通话质量➢个性化空间音频:轻松打造沉浸的聆听体验◼Apple TV➢Insight功能可以实时显示影片中的演员及其角色名称,增强对话功能利用机器学习技术提高人声清晰度,适时显示字幕
2.4 watchOS更新:watchOS11引入翻译和实时活动显示功能
训练:洞察训练强度和时长,使用心率、配速和高度等热量值数据,结合年龄、体重等个人数据,通过新算法自动将传感器数据转化为训练的耗能评分◼健康:追踪睡眠期间的关键体征,比如心率、睡眠呼吸频率以及手腕温度,了解用户的身体状态,帮助用户更好地管理身体健康◼翻译:利用机器学习模型进行语音识别和翻译◼实时活动显示:通过智能叠放功能显示实时活动
可自定义标签页栏:标签页栏和边栏来回转换更加流畅。◼计算器:新增的计算器功能引入强大的科学计算能力,可针对数学笔记内容做出复杂计算,备忘录也上线全量计算器功能。◼Smart Script:手写笔记更高效、更流畅、更易读。
2.6 macOS更新:macOS Sequoia引入机器学习提供更好的搜索体验
Continuity:实现跨设备互联,在mac上通过iPhone Mirroring功能可以操作手机◼多窗口排布:自动调整桌面窗口大小并排布◼视频会议:引入演讲者预览功能、背景替换功能◼Safari:通过Highlights功能自动检测页面相关信息,并在浏览时突出显示实用信息训练:洞察训练强度和时长,使用心率、配速和高度等热量值数据,结合年龄、体重等个人数据,通过新算法自动将传感器数据转化为训练的耗能评分◼健康:追踪睡眠期间的关键体征,比如心率、睡眠呼吸频率以及手腕温度,了解用户的身体状态,帮助用户更好地管理身体健康◼翻译:利用机器学习模型进行语音识别和翻译◼实时活动显示:通过智能叠放功能显示实时活动
可自定义标签页栏:标签页栏和边栏来回转换更加流畅。◼计算器:新增的计算器功能引入强大的科学计算能力,可针对数学笔记内容做出复杂计算,备忘录也上线全量计算器功能。◼Smart Script:手写笔记更高效、更流畅、更易读。
WWDC大会作为苹果一年一度的软件技术更新大会,此次重点聚焦AI,推出全新个人化智能系统Apple Intelligence,有望成为苹果AI创新大周期起点。WWDC 2024具体内容如下:➢Apple Intelligence:1)Siri理解能力更强,具备多轮对话/总结信息/屏幕内容感知/应用智能交互/个人情境认知等能力;2)提供Writing Tools、邮件智能回复、通知整理等功能;3)支持Genmoji/图像生成、AI修图、草图精美化等;4)备忘录和通话均支持录音、转写、摘要功能。5)将OpenAI GPT-4o融入Siri和Writing Tools,作为苹果端侧模型之外的云端备选模型,供用户选择。Apple Intelligence将于24年夏季推出美国英语版试用,秋季Beta版上线(免费),其他功能&语言将在25年推出,硬件支持iPhone 15 Pro、M1芯片的iPad和Mac以及后续机型。
操作系统更新:1)MR:更新visionOS 2:支持2D照片转为空间照片,Mac互连更为便捷且虚拟屏清晰度和尺寸更优,部分系统操作优化;全球发售:6.28中国/日本/新加坡发售,7.12澳大利亚/加拿大/法国/德国/英国发售。2)iOS 18:更新了桌面定义和控制中心定义,新增卫星短信(iPhone14及之后机型)/游戏模式/地图离线徒步路线记录等。3)iPadOS 18:新增的计算器功能引入强大的科学计算能力,可针对数学笔记内容做出复杂计算。4)macOS Sequoia:可通过iPhone Mirroring功能可以操作手机,Safari自动为用户突出显示实用信息。◼苹果AI布局已久。
1)大模型:从Core ML架构到MM1大模型再到端侧OpenELM,苹果大模型研发持续推进;2)芯片:A/M芯片均采用CPU+GPU+NPU架构,AI算力提升为端侧AI提供硬件支持;3)初创公司:2010年以来收购了30+家AI初创公司。◼苹果AI落地具备里程碑式意义,有望加速端侧AI发展。
苹果全球iOS用户数20亿+,每年终端设备销量3亿部+,此次正式定义并引入端侧AI功能,对于AI手机、AI PC乃至整个AI终端的发展具备里程碑式意义,有望加速端侧AI发展。从产业链角度来看,AI赋能有望带动苹果终端销量增长,端侧AI发展也对芯片算力/内存/散热/声学/电池等提出升级要求,推高零部件&整机价值量。◼持续关注苹果AI终端升级进展,建议关注果链核心标的:立讯精密,鹏鼎控股,工业富联,水晶光电,歌尔股份,长盈精密,长电科技,赛腾股份,创世纪等。
终端需求不及预期,苹果AI发展不及预期,研究报告使用的公开资料可能存在信息滞后或更新不及时的风险。
3.1 投资建议
20◼持续关注苹果AI终端升级进展,建议关注果链核心标的:➢立讯精密,鹏鼎控股,工业富联,水晶光电,歌尔股份,长盈精密,长电科技,赛腾股份,创世纪等。
(本文仅供参考,不代表我们的任何投资建议。如需使用相关信息,请参阅报告原文。)