EP16 - OpenAI 推出 GPT-4o mini 與革命性搜索引擎 Exa AI

OVERVIEW
本期重點

• OpenAI 推出 GPT-4o mini

• 專為 AI 設計的革命性搜索引擎 Exa AI

• 手機上運行的開源模型 H2O-Danube3

HOTNEWS
OpenAI 推出 GPT-4o mini

價格僅 10 分之一

OpenAI 剛剛推出了一款令人興奮的新模型：GPT-4o mini。

-

▋ 性能卓越，價格親民

它不僅在性能上超越了許多知名的 AI 模型，包括 GPT-3.5 Turbo、Gemini Flash 和 Claude Haiku，而且價格便宜得令人難以置信。

每百萬輸入 Tokens 只需 15 美分，每百萬輸出 Tokens 60 美分。

這比之前的頂級模型便宜了十倍，比 GPT-3.5 Turbo 便宜了 60% 以上！

-

▋ 便宜不代表性能差

GPT-4o mini 在多項重要測試中都表現出色​

1. 在 MMLU（衡量文本智能和推理能力的基準）上得分 82.0%，超過了 Gemini Flash 的 77.9% 和 Claude Haiku 的 73.8%。

2. 在數學推理測試 MGSM 上得分 87.0%，遠高於競爭對手。

3. 在編程能力測試 HumanEval 上得分 87.2%，同樣領先其他模型。

GPT-4o mini不僅僅是一個文本處理工具，它的才能遠不止於此：

支援文本和視覺輸入，未來還將支援圖像、影片和音頻的輸入輸出。

擁有128K標記的上下文窗口，每次請求最多可輸出16K標記。

知識覆蓋範圍廣泛，更新至2023年10月。

改進的標記器使得處理非英語文本更具成本效益。

從今天開始，免費用戶、Plus用戶和Team用戶都可以使用GPT-4o mini，企業用戶也將很快獲得訪問權限。

SHARING
專為 AI 設計的革命性搜索引擎 Exa AI

Exa AI 詳細解密

若是有一個搜尋引擎能夠真正理解我們的問題，而不是單純匹配關鍵字？

可以試著 Google 「正在為核融合努力的新創公司」，你會得到一堆塞滿關鍵字的無關網頁。

是不是很惱人？

現在，讓我們來認識一下 Exa AI —— 一個可能徹底改變我們使用網路方式的新型搜尋引擎。

Exa AI 不是另一個試圖取代 Google 的搜尋引擎。

它的目標更加遠大：打造一個專為 AI 量身定制的搜尋工具。

這聽起來可能有點抽象，但我相信，Exa AI 有機會改變我們獲取資訊的方式。

-

▋ Exa AI 如何運作？

傳統的搜尋引擎主要依賴關鍵字匹配。但 Exa AI 採用了更加先進的方法：

1. 它使用向量資料庫和嵌入模型（embedding models）技術，將每個網頁賦予了權重。

這聽起來很複雜，但簡單來說，就是它能夠理解網頁的實際含義，並讓彼此之間有了對應的關係。

2. Exa AI 不是預測下一個詞，而是預測下一個相關連結。

這意味著它能夠更好地理解網頁之間的關係，為你找到真正相關的資訊。

3. 它使用端到端的 Transformer 技術（就是 ChatGPT 使用的那種）來過濾資訊。

這使得 Exa AI 能夠根據意義而不是關鍵字來篩選結果，還能因此過濾掉惱人的 SEO haker 創造出來的內容。

舉個例子：如果你搜尋「正在為核融合努力的新創公司」，Exa AI 會真正理解你的意圖，找到真正在解決核融合問題的公司，而不是那些只是在網頁上堆砌關鍵字的公司。

下面是我用 Exa AI 搜尋出來的公司，在 Google search 只給我一堆媒體的報導。

Exa AI：

helicalfusion.com 日本團隊的官網

renfusion.eu 歐洲團隊的官網

okamakenergy.com 英美團隊的官網

Google：

創業小聚

袋鼠金融

Yahoo 新聞

-

▋ Exa AI 的獨特之處

1. 語義搜尋：它能理解你的問題的實際含義，而不只是匹配關鍵字。

2. 內容擷取：它可以從任何網頁抓取完整、乾淨的內容，為 AI 提供高品質的資料。

3. 相似性搜尋：你可以用一個 URL 或一段長文本來找到類似的結果，讓搜尋更精準。

4. 大規模資料處理：它能處理多達 100 萬條搜尋結果，滿足 AI 對大量資料的需求。

5. 即時更新：每分鐘都在爬取新的 URL，確保你能獲得最新的資訊。

6. 強大的過濾功能：你可以按域名、日期範圍或資料類別進行搜尋，讓結果更符合你的需求。

7. 簡單的 API 整合：開發者只需幾行程式碼就可以使用 Exa AI 的搜尋功能。

API API API 很重要。

-

▋ Exa AI 的未來

Exa AI 最近獲得了 1700 萬美元的 A 輪融資。

由 Lightspeed 領投，Nvidia 的 NVentures 和 Y Combinator 參投。

這表明了投資者對這項技術的信心。

但 Exa AI 的真正價值不僅僅在於它的技術創新。

它的意義在於它可能徹底改變我們與資訊互動的方式。

想像一下，當我們的 AI 助手能夠真正理解我們的問題，並從海量的網路資料中精確地找到答案，串接到你的服務裡會發生什麼？

-

▋ 感想

在這之前，我們認為搜尋引擎就是輸入關鍵字，然後從一堆結果中找出有用的資訊。

但現在，Exa AI 的出現讓我們看到了另一種可能：透過真正理解每個網頁的內容，給每個網頁屬於自己的權重。

Perplexity 做了一個很好的開頭。

它的原理是根據關鍵字去爬取相關網頁的內容，再把這些內容整理成一則搜尋的總結。

但本質上還是透過關鍵字來做搜尋，僅是在輸入與輸出添加了生成式 AI 。

無外乎它一直承受套殼搜尋引擎的罵名。

Exa AI 則是把每個網頁當成一個 Token ，透過海量的訓練重新建構了一個網路知識圖譜。

這也是為什麼他們可以做相似內容網頁的搜尋，甚至精準的回覆使用者需求。

十分看好這種從底層邏輯改變生態的方法，實際使用也真的讓我發現以往不曾造訪的網站與內容。

搜尋結果頁面，左邊側邊欄的網站分類真是一絕，真的把 Google 跟 Perplexity 吊起來打一圈。

快來試試這個強大的真 AI 搜尋引擎。

HOTNEWS
手機上運行的開源模型 H2O-Danube3

搶在 Apple Intelligence 之前

── ​ H2O-Danube3 發佈手機上運行的開源模型

H2O-Danube3 是一個由 H2O.ai 開發的一系列小型語言模型。此模型能夠提供聊天、問答服務、文字分類、資料分析等功能。

-

▊ 模型大小

H2O-Danube3 有兩個版本分別為

H2O-Danube3-4B 在 6T Token 上訓練

H2O-Danube3-500M 在 4T Token 上訓練

H2O-Danube3 最大僅有 4B 因此能夠在普通邊緣硬體設備（如智慧型手機）上運行，且無需連接網路。

-

▊ 重點能力

- 通用語言任務：模型在序列分類、問答系統、token 分類等任務中表現優異，甚至在經過微調後能夠在特定任務上超過一些大型模型。

- 聊天能力：提供了 H20-Danube3-4B-Chat 和 H20-Danube3-500M-Chat 版本，專門針對聊天任務進行了最佳化和微調。

- 多語言處理：支援處理多種語言的文本，能夠進行多語言生成和理解。

- 語言翻譯：將文字從一種語言翻譯到另一種語言，支援多種語言。

-資料摘要：對結構化資料進行分析和總結，產生資料報告。從數據中提取有價值的洞察，產生分析報告。

-

▊ 影響

當大家都還在懷疑 Apple 是否真的能在手機上順暢運行 LLM 時。

H2O.ai 給了大家一個可靠的答案。

驚人的是，它不僅迅速 ( 可以看影片未加速 )

還可以順暢的運行在我 Iphone14 Pro 的手機上 ( Apple 要不要出來說明一下！ )

它支援 Apache 2.0 許可使用，也就是說任何人都可以 Fine-tune 它來商用。

最大 4B 的 Size 若要做 Fine-tune 僅需要普通大眾使用的顯卡即可 ( 8G以上 )

500M 的 Fine-tune 將能更佳的友善。

可以預期這個開源模型將打開一條全新的道路，那就是

訓練模型將不再只是擁有巨大資源公司的權力。

未來所有應用將有機會嵌入自己訓練過的小模型。

不管是遊戲角色需要生成的台詞，或是協助使用者解決問題的助理。

都有機會透過這個本地運行的小模型來實現！

非常期待幾個月後開發者在這個基礎上延伸出來的應用。

喔對了，這個應用已經可以在 AppStore 下載，有興趣的朋友不妨下載來玩看看。