AI新闻动态（2024-06-30到2024-07-06)

[ikaijua]

AI新闻动态（2024-06-30到2024-07-06)

目录

AI产品

1. 快手可灵视频生成模型进行了重磅升级，并发布网页版
2. Runway宣布文生视频模型Gen-3 Alpha向所有用户开放使用
3. 最新Chorme浏览器内置AI大模型，支持本地离线、免费无限使用
4. 商汤科技在WAIC 2024发布多模态交互能力的大模型"日日新SenseNova 5.5”
5. 可能是目前最好的中文开源TTS：Fish Speech V1.2
6. ElevenLabs推出声音去噪功能

机器人/脑机接口

1. MIT在《自然医学》发表研究实现膝盖以下截肢患者通过神经信号控制机械腿

AI研究

1. 微软开源了GraphRAG，一种基于图的检索增强生成(RAG)方法，用于对私有或未见过的数据集进行问答
2. Meta发布的3D生成技术Meta 3D Gen
3. Meta发布全新LLM Compiler，旨在优化代码并革新编译器设计
4. 扒一扒Sora两带头人博士论文
5. 浙江大学 NLP 实验室与腾讯 AI Lab 联合发布 SciKnowEval 大型语言模型科学领域评测基准
6. 港中文贾佳亚团队推出一种新的大模型优化策略Step-DPO，通过仅10k数据显著提升大模型的数学能力
7. 阿里发布开源的语音大模型项目FunAudioLLM
8. 港大和字节团队合作推出基于Llama的图像生成方法LlamaGen，效果超过扩散模型
9. 腾讯发布高质量人体运动视频生成模型MimicMotion
10. 快手发布人像视频合成模型LivePortrait
11. 快手开源的AI绘画模型Kolors
12. 联汇科技发布第二代多模态智能体 OmAgent

AI洞察

1. 比尔·盖茨：现在对AI的狂热远超互联网泡沫，还将经历两次规模提升
2. AI 数学奥林匹克竞赛初步成绩已公布，获胜程序在测试中正确回答了29/50道题，超出预期

[ikaijua]

2024-07-02 Runway宣布文生视频模型Gen-3 Alpha向所有用户开放使用

1. Gen - 3 Alpha此前仅部分用户可使用。
2. 只支持文本生成视频，并且一次性只能生成11秒的720P视频，且无背景音乐。
3. Gen - 3具备物理模拟功能，生成的视频在饱和度、光影效果等方面出色，可制作微电影和宣传广告等。
4. Gen - 3不提供免费试用，需要最低 15 美元的标准版订阅才能使用。Gen-3 每秒需要消耗 10 积分，如果十秒视频的需要耗费一美元，价格有点贵。
5. Runway的Gen - 2及其他产品仍免费，Gen - 3将提供高级功能帮助用户制作更精良视频。
6. Luma免费开放时服务器崩溃，可能是Gen - 3收费的原因之一，许多用户对Runway的收费做法不满。

官网：https://app.runwayml.com

媒体文章：

• 华尔街见闻：Runway的Gen-3向所有人开放，媲美Sora！

[ikaijua]

2024-07-01 Meta发布全新LLM Compiler，旨在优化代码并革新编译器设计。

1. LLM Compiler利用开源模型，实现77%的自动调优搜索潜力，减少编译时间并提升代码效率。
2. 45%的成功率在反汇编方面展现LLM Compiler的实力，可能颠覆代码优化和反汇编的游戏规则。
3. LLM Compiler的训练数据集中包含大量汇编代码和编译器IR，以增强理解和执行以往仅人类专家或工具能完成的任务。
4. LLM Compiler针对编译器优化和反汇编任务进行指令微调，通过模拟编译器优化和反汇编过程，提升模型性能。

论文链接：https://ai.meta.com/research/publications/meta-large-language-model-compiler-foundation-models-of-compiler-optimization/

媒体文章：

• 机器之心：开发者狂喜！Meta最新发布的LLM Compiler，实现77%自动调优效率

[ikaijua]

2024-07-01 扒一扒Sora两带头人博士论文

1. OpenAI 在 2024 年推出 Sora，引领视频生成技术进入新纪元。
2. Sora 的开发团队以高强度工作一年，包括两位年轻的博士生 Tim Brooks 和 Bill Peebles 作为项目研究主管。
3. Tim Brooks 和 Bill Peebles 在加州大学伯克利分校攻读博士学位，研究方向为 AI 视频生成。
4. Tim Brooks 的博士论文提出了图像和视频生成模型用于一般视觉内容创作的基本要素。
5. Bill Peebles 的博士论文研究了改进和可扩展的两种模态（图像和神经网络参数）的生成式模型。
6. Sora 技术的发展展示了 AI 视频生成模型从小规模演示到广泛应用的关键转变。
7. Sora 的成功体现了 AI 学者们对技术的深入研究和不懈努力。

• Tim Brooks的博士论文《Generative Models for Image and Long Video Synthesis ：https://www2.eecs.berkeley.edu/Pubs/TechRpts/2023/EECS-2023-100.pdf
• William (Bill) Peebles 的博士论文：《Generative Models of Images and Neural Networks》：https://www.proquest.com/openview/818cd87d905514d7d3706077d95d80b5/1?pq-origsite=gscholar&cbl=18750&diss=y

媒体文章：

• 机器之心：人刚毕业，颠覆整个AI界：扒一扒Sora两带头人博士论文

[ikaijua]

2024-07-02 浙江大学 NLP 实验室与腾讯 AI Lab 联合发布 SciKnowEval 大型语言模型科学领域评测基准

1. SciKnowEval 包含化学和生物领域共 50,000 个不同层次的科学评测题目，定义了 L1 到 L5 不同层级的科学智能。
2. 拥有千亿至万亿参数的通用大语言模型如 GPT-4o、Gemini1.5-Pro 和 Claude3-Sonnet 表现出色，整体性能优于中小型开源模型如 Qwen1.5 和 Llama3。
3. 科学专业领域大模型如 ChemDFM-13B 表现优秀，特别是在化学领域的 L5 级任务中，ChemDFM-13B 甚至超越了一些通用大模型。
4. 基座大模型的 SFT（指令微调）过程中的任务选择、组合和处理对于提升模型在科学领域的专业化表现至关重要。
5. SciKnowEval 评估框架通过五个递进的科学知识层次（广泛学习、认真探询、深入思考、准确判断和实际应用），评估 LLMs 在不同方面的科学知识和应用能力。

论文链接：https://arxiv.org/abs/2406.09098

媒体文章：

• 机器之心：浙大、腾讯团队发布科学LLM大规模评测基准，国产大模型表现亮眼

[ikaijua]

2024-07-02 MIT在《自然医学》发表研究实现膝盖以下截肢患者通过神经信号控制机械腿

1. 患者需进行特殊手术并连接非侵入性表面电极至假肢。
2. 传统截肢打乱肌肉相互作用，影响神经系统对肌肉位置和速度的感知。
3. 新型机械腿内置机器人控制器和传感器，帮助感知肢体位置和应对环境。
4. 研究依赖于兴奋剂-拮抗剂肌神经接口（AMI）手术，建立身体与机器的双向连接。
5. 研究显示AMI用户步态更自然，能量消耗和身体压力减少。

论文链接：Continuous neural control of a bionic limb restores biomimetic gait after amputation

MIT文章：

• https://www.media.mit.edu/articles/a-prosthesis-driven-by-the-nervous-system-helps-people-with-amputation-walk-naturally/
• https://www.media.mit.edu/projects/agonist-antagonist-myoneural-interface-ami/overview/

媒体文章：

• 机器之心：全球首个神经连接机械腿，截肢者恢复自然行走，还带空间感

[ikaijua]

2024-07-05 商汤科技在WAIC 2024发布多模态交互能力的大模型"日日新SenseNova 5.5”

1. “日日新 5.5”基模型参数提升至6000亿，推理思维能力、数理逻辑、英文和指令跟随等方面显著增强。
2. 引入“所见即所得”的流式多模态交互模式，整合声音、文本、图像和视频信息，实现实时流式交互。
3. 端侧模型升级：发布“日日新 5.5 Lite”，相比5.0版本模型精度提升10%，推理效率提升15%，首包延迟降低40%。
4. 推出“大模型0元Go”计划，为新注册用户提供免费调用、迁徙、训练服务，并赠送5000万Tokens包。
5. “日日新 5.5 Lite”已在智能手机、平板电脑、VR一体机等多个IoT设备中应用，单台设备成本低至每年9.9元。

媒体文章：

• 商汤科技：国内首个！对标GPT-4o，商汤流式多模态交互大模型「日日新 5.5」发布

[ikaijua]

2024-07-06 联汇科技发布第二代多模态智能体 OmAgent

开源项目OmAgent：https://github.com/om-ai-lab/OmAgent

论文：A Multi-modal Agent Framework for Complex Video Understanding with Task Divide-and-Conquer

媒体文章：

• 机器之心：现场Live震撼！OmAgent框架强势开源！行业应用已全面开花

[ikaijua]

2024-07-07 港中文贾佳亚团队推出一种新的大模型优化策略Step-DPO，通过仅10k数据显著提升大模型的数学能力

1. 该方法基于推理步骤的直接偏好优化，模仿教师教学生时指出具体错误步骤的方式。
2. Qwen-72B模型在多个数据集上通过Step-DPO优化后，数学成绩超越了GPT-4等闭源模型。
3. Step-DPO通过细化DPO方法，将每个推理步骤视为基本单元，更精细地提升模型的多步推理能力。
4. Step-DPO包括错误收集、错误步骤定位和错误步骤修正三个步骤，有效减少人工介入。
5. 优化后的模型在MATH和GSM8K测试集上准确率显著提升，展现出更强的长链条推理任务能力。

• GitHub地址：https://github.com/dvlab-research/Step-DPO
• 论文地址：https://arxiv.org/abs/2406.18629
• 在线Demo：http://103.170.5.190:7870/
• 模型（HF）：https://huggingface.co/collections/xinlai/step-dpo-6682e12dfbbb2917c8161df7
• 数据（HF）：https://huggingface.co/datasets/xinlai/Math-Step-DPO-10K

媒体文章：

• 量子位：贾佳亚团队新作：10k数据让大模型数学能力超GPT-4

[ikaijua]

2024-07-03 港大和字节团队合作推出基于Llama的图像生成方法LlamaGen，效果超过扩散模型

1. 在ImageNet测试基准上，LlamaGen的表现超越了LDM、DiT等扩散模型，证明了自回归模型在图像生成中的竞争力。
2. 采用与VQ-GAN相同的CNN架构，将图像转换为离散的Token，并使用Llama语言模型的架构进行图像生成。
3. 模型在LAION-COCO的50M子集上进行初步训练，随后在1千万规模的高美学质量图像上进行微调。
4. LlamaGen在FID、IS、Precision和Recall等指标上表现优异，尤其在ImageNet测试集上，LlamaGen-3B模型优于流行的扩散模型。
5. 未来的改进方向包括更大的分辨率、更高的可控性和视频生成。

• GitHub地址：https://github.com/FoundationVision/LlamaGen
• 在线体验：https://huggingface.co/spaces/FoundationVision/LlamaGen
• 项目主页：https://peizesun.github.io/llamagen/
• 论文地址：https://arxiv.org/abs/2406.06525
• Hugging Face：https://huggingface.co/FoundationVision/LlamaGen

媒体文章：

• 量子位：Llama也能做图像生成！港大字节推出开源自回归文生图模型，在线体验已开放

[ikaijua]

2024-07-02 可能是目前最好的中文开源TTS：Fish Speech V1.2

效果逼真，能说绕口令，支持克隆语音，效果稳定，可用性比ChatTTS、GPT-SoVITS强太多了。
模型（开源不可商用）

在线使用：https://fish.audio/zh-CN/
模型地址：https://huggingface.co/fishaudio/fish-speech-1.2

B站视频：Fish Speech 1.2 - 开源语音合成不止于自然
B站视频：Fish Speech 1.2版本正式发布 TTS合成语言速度大幅提升

[ikaijua]

2024-07-07 腾讯发布高质量人体运动视频生成模型MimicMotion

输入动作序列+参考角色，生成该角色的动作视频。

sample_3_pose.mp4

sample_3.mp4

Github地址：https://github.com/tencent/MimicMotion
项目地址：https://tencent.github.io/MimicMotion/

[ikaijua]

2024-07-02 Meta发布的3D生成技术Meta 3D Gen

1. Meta 3D Gen可以在一分钟内将文本生成高质量的3D模型，包括高质量纹理和基于物理渲染的材质贴图。
2. Meta 3D Gen由两部分组成：Meta 3D AssetGen负责从文本生成3D对象，Meta 3D TextureGen负责生成和优化3D对象的纹理。
3. Meta 3D Gen可以生成的各种3D模型和纹理效果，包括编织风、像素风、暗黑恐怖风等风格。
4. Meta 3D Gen的工作流程涉及神经网络生成2D视图、重建3D Mesh、优化初始纹理、生成高质量的UV纹理等步骤。
5. Meta 3D Gen在多个指标上（如文本提示保真度、视觉质量、几何质量和纹理质量）超过了其他对比模型，如CSM Cube 2.0、Tripo3D等。
6. Meta 3D Gen的发布被认为可能改变3D模型生成领域的游戏规则，并且在生成时间上显著优于其他方法。
7. 其他公司和团队也在不断改进和优化他们的3D生成模型，如Tripo3D、Meshy等，未来可能会有更多的竞争和合作。

meta_3D_Gen.mp4

Meta官方文章：https://ai.meta.com/research/publications/meta-3d-gen/
Meta推文：https://x.com/AIatMeta/status/1808157832497488201

媒体文章：

• 量子位：风口预警！Meta一分钟文本转3D模型炸场，游戏规则已改变，赛道着火了

[ikaijua]

2024-07-04 ElevenLabs推出声音去噪功能

可以去除音频中的噪音只保留人声，目前可以免费使用。

使用地址：https://elevenlabs.io/voice-isolator

[ikaijua]

2024-07-05 快手发布人像视频合成模型LivePortrait

提供一张角色参考和一段面部视频参考，即可合成该角色的人像视频。

kuai_portrait.mp4

Github地址：https://github.com/KwaiVGI/LivePortrait
项目地址：https://liveportrait.github.io/
在线Colab：https://github.com/camenduru/LivePortrait-jupyter
论文地址：https://arxiv.org/pdf/2407.03168

[ikaijua]

2024-07-05 阿里发布开源的语音大模型项目FunAudioLLM

1. 项目包括两个创新模型，SenseVoice和CosyVoice，分别专注于语音识别和语音生成。
2. CosyVoice的特点：
   • 支持多语言、音色和情感控制的自然语音生成。
   • 极速音色模拟，仅需短音频即可生成模拟音色。
   • 支持富文本或自然语言的细粒度控制。
3. SenseVoice特点：
   • 高精度多语言语音识别、情感辨识和音频事件检测。
   • 支持超过50种语言的识别，中文和粤语识别效果显著提升。
   • 快速推理，SenseVoice-Small模型推理延迟极低。

• CosyVoice开源仓库：https://github.com/FunAudioLLM/CosyVoice
• CosyVoice在线体验：https://www.modelscope.cn/studios/iic/CosyVoice-300M
• SenseVoice开源仓库：https://github.com/FunAudioLLM/SenseVoice
• SenseVoice在线体验：https://www.modelscope.cn/studios/iic/SenseVoice

媒体文章：

• 量子位：阿里音频生成大模型一次发俩还开源！50种语言快速理解+5种语言语音生成，带情感的那种

[ikaijua]

2024-07-06 快手可灵视频生成模型进行了重磅升级，并发布网页版

1. 新模型提升了画质，新增了首尾帧控制和镜头控制功能
2. 可灵Web端上线，限时免费，用户可以在PC上更方便地创作和管理视频作品。
3. 新增了图生视频和视频续写功能，提高了视频生成的灵活性和扩展性。

网页地址：https://klingai.kuaishou.com/

媒体文章：

• 量子位：千呼万唤的可灵网页版来了！基础模型重磅升级，新功能“炸场”WAIC

[ikaijua]

2024-07-06 快手开源的AI绘画模型Kolors

1. 可图基于latent diffusion架构，文本编码器使用支持双语的ChatGLM3-6B-Base，能够处理长达256 tokens的文本。
2. 生成效果接近Midjourney-v6水平，具有强大的文本理解能力。
3. 采用CogVLM-1.1-chat模型进行图像重打标生成文本描述，混合使用原始文本和合成文本进行训练。
4. 采用两阶段训练，包括预训练阶段的concept learning和高分辨率图像训练的微调阶段。

Github：https://github.com/Kwai-Kolors/Kolors
在线Colab：https://github.com/camenduru/Kolors-jupyter

[ikaijua]

2024-07-02 微软开源了GraphRAG，一种基于图的检索增强生成(RAG)方法，用于对私有或未见过的数据集进行问答

1. GraphRAG结合了大型语言模型(LLMs)和图机器学习技术，显著提升了处理私有数据的性能，尤其在跨大型数据集的复杂语义问题推理方面。
2. 与传统RAG相比，GraphRAG通过构建知识图谱、社区分层和语义总结，大幅提高了在私有数据集上的表现，如企业专有研究和商业文档。
3. 微软在大规模播客和新闻数据集上测试GraphRAG，结果显示其在全面性、多样性、赋权性方面优于朴素RAG。在社区摘要应用中，GraphRAG 在全面性和多样性上以 70-80% 的胜率大幅领先于传统 RAG。
4. GraphRAG利用LLM从数据中提取知识图谱，聚类生成语义社区，为RAG操作提供"社区答案"，并通过缩减生成最终答案。
5. GraphRAG可应用于社交媒体、新闻文章、生产力工具和化学等领域。
   微软开源了RAG 方案GraphRAG

Github地址：https://github.com/microsoft/graphrag

youtube视频：AIGCLINK/GraphRAG：微软发布史上最强的RAG知识库开源方案，使用大模型结合知识图谱能力增强传统rag能力，提升了回答的综合性、多样性、准确性

媒体文章：

• AI前线：下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

[ikaijua]

2024-07-06 最新Chorme浏览器内置AI大模型，支持本地离线、免费无限使用

1. Google 在 Chrome 127 版本中内置了 Gemini 大模型，允许用户在本地免费无限制地使用 AI 能力。
2. Gemini 大模型支持离线使用，适用于图像识别、自然语言处理和智能推荐等任务。
3. 目前 Gemini 大模型处于实验阶段，用户可以通过特定配置在 Chrome dev 版本中启用。

零度解说视频教程：https://www.youtube.com/watch?v=HP1NMC5puyw

媒体文章：

• Chrome 127 内置 AI 大模型，JS 可直接调用！

[ikaijua]

2024-07-04 AI 数学奥林匹克竞赛初步成绩已公布，获胜程序在测试中正确回答了29/50道题，超出预期

1. AIMO(AI International Mathematical Olympiad) 由 XTX Markets 发起，旨在创建能解决 LaTeX 格式复杂数学问题的 AI 算法和模型，推动人工智能的数学推理能力。
2. 首次颁发的 AIMO 进步奖提供了104.8万美元的奖金。
3. Numina 团队获得第一名，CMU_MATH 排名第二，after exams 位列第三，codeinter 和 Conor Update README.md #2 分别位于第四和第五。
4. 参赛要求团队公开发布代码、方法、数据和模型参数。
5. 参赛团队使用了包括 Mixtral・8x7b、Gemma、Llama 3 等不同的 AI 模型。
6. AIMO 顾问委员会由数学界的知名人士组成，包括菲尔兹奖得主 Timothy Gowers 和陶哲轩（Terence Tao），以及其他数学专家。

AIMO官网：https://aimoprize.com/

媒体文章：

• 机器之心：陶哲轩支持！AI数学奥林匹克竞赛进步奖公布，奖金100多万美元

[ikaijua]

2024-07-04 比尔·盖茨：现在对AI的狂热远超互联网泡沫，还将经历两次规模提升

比尔·盖茨做客知名播客节目《下一个伟大的构想》讨论了人工智能的未来，以及他对超人类人工智能（Superhuman AI）和技术进步的构想。

1. AI技术发展预测：比尔·盖茨认为超人类级别的人工智能终将成为现实，其发展速度快且潜力巨大。
2. AI作为技术革命的引领者：盖茨将AI视为当今最重要的技术发展，将深刻影响人类的未来。
3. AI硬件设备前景：预计耳机和智能眼镜将成为AI硬件设备的重点发展方向。
4. AI带来的挑战与变革：AI技术发展速度和潜力超出以往技术革命，带来新的挑战和政策问题。
5. AI产业规模发展：盖茨认为AI产业还将经历两次规模上的提升。
6. AI在社会问题上的应用：AI有望在医疗、教育、生产力和商业领域带来深远影响，尤其在解决全球性问题如疾病和资源短缺方面。
7. AI对个人生活的影响：盖茨讨论了AI技术在个人层面的应用，如个人智能体可能取代人类助手，以及AI在教育和远程支持中的潜力。

youtube视频：Next Big Idea Club/Bill Gates Reveals Superhuman AI Prediction

媒体文章：

• 腾讯科技：对话比尔·盖茨：现在对AI的狂热远超互联网泡沫，还将经历两次规模提升