- 降噪 | denoise
- Posts
- EP05 - 把 FB 變成學習平台與世界最小的語言模型
歡迎來到降噪，一起消除雜訊洞察價值
OVERVIEW
本期重點
利用 FB 演算法建立學習助理
在手機上就能運行的 AI Phi-3
自己訪問自己的 AI 分身
SHARING
利用 FB 演算法建立學習助理
Turn Facebook to productivity tools
如何把 Facebook 變成生產力工具
—— 利用 FB 建立你的 AI 學習助理
2022 年，Meta 針對內容分發策略進行了重大改變。
為了與 TikTok 競爭 Reals，Meta 購買了許多 Nvidia H100 晶片，來重構內容分發策略。
以往的內容分發是根據你的朋友與按讚的內容。
現在透過新的 AI 模型，Meta 能更細緻的分析每一則貼文，將內容分發給有興趣的人。
這標誌著內容分發新時代的開始，好內容有機會突破限制，觸及更多受眾。
下面分享我是如何反過來利用這個分發策略，把它變成你的學習助理。
▋ 建立你想學習的內容清單
將 Facebook 轉變為生產力工具的第一步，就是建立你想學習的內容清單。
這個清單應該包括你感興趣的主題和關鍵字。
像是我的清單就包括了三個主題：
Generative AI
社會與經濟
行銷
再來思考與主題相關的關鍵字有哪些，像是 Generative AI 就會跟【LLM】、【Stable Diffusion】、【Nvidia】有相關，這些可以廣泛的成為子主題。
這樣，你就能夠過濾掉不相關的內容，並專注對你最重要的內容。
Attention is all you need
▋ 斷、捨、離
一旦你擁有了內容清單，下一步就是關閉 / 退追所有與清單內容不相符的內容。
你的興趣不會一成不變，想學習的東西也不會只有這些。
這動作很重要，就是手動的告訴你的學習助理這個我不感興趣，不要再給我了。
手動關閉對演算法影響很大
(FB 每一則貼文的右上角都可以手動關閉這則訊息，若你需要更強力的拒絕，可以再封鎖 30 天。)
不要害怕關閉朋友或親人的通知，反思一下你攝取的每一則內容帶給你的收穫是什麼。
透過這樣的過濾行為，慢慢地觀察自己當下最需要的內容是什麼。
(像是我會封鎖所有的娛樂類新聞、爆系社團、朋友的育兒旅遊美食打卡)
不用擔心無法追蹤到朋友的最新動態，你還是可以在限動或 IG 裡看到這些。
你需要的，是好好的保護你的主頁內容。
每天花五分鐘關閉你不感興趣的內容，後面你會發現這個行為超爽。
▋ 建立優質內容來源
下一步是追蹤相關社團和創作者。
FB 的內容分發策略很大的部分還是由興趣組成，藉由手動加入相關社團與追蹤創作者，學習助理就能夠進一步的在這些主題上加大權重。
因此，通過加入 FB 社團、關注行業領袖和創作者，並與他們的內容進行互動。
這樣，你就能夠保持最新的發展趨勢，並獲得有價值的見解和資源。
也不要忘記定時來更新你的追蹤，再把不感興趣的內容 Unfollow。
下面分享我關注的社團與創作者
Generative AI 相關
FB 社團：
創作者：
@科技浪
社會與經濟
社團：
創作者：
行銷
社團：
創作者：
不一一列舉，我自己也會透過整理這些追蹤名單反過來思考他們的內容對我的幫助是什麼，與我的目標是否契合。
好的 AI 模型需要優質的內容來訓練，讓自己沉浸在好內容中，產生更多的啟發。
▋強化模型
現在，你已經識別出高品質的內容，下一步就是轉貼相關內容，並與更多的人進行評論和互動。
FB 更改內容分發策略後，會用 AI 對每則內容做大量的分析與權重分配。
包括觀看時長、分享、留言... 等等，要讓 FB 強烈的認知到我對這些內容感興趣，就是對內容做更多的互動。
這可以通過在 Facebook 時間軸上分享相關文章或影片，並對他人的內容進行評論、和按讚。
每一次的轉貼加上一些自己的評論，也會讓你的學習助理了解到你對這則內容的看法是什麼，進而做更好的推薦。
▋蒸餾
最後一步是將你的想法轉化為其他內容。
這可以通過 GPT 寫作文章、DallE 創作圖片、Suno 創作歌曲、Gamma 製作 deck... 等方式來蒸餾你的想法。
再將你的創作反饋到社團或你喜歡的平台，建立與更多愛好者的連結，再從網友的互動中微調你的學習。
(蒸餾出來的觀點很有可能是錯的，須時時保持開放態度來調整)
自此，你已完成了一個學習循環，將 FB 轉變成你的學習工具。
▋結論
通過這五個步驟，你可以將 Facebook 轉變為生產力工具，幫助你保持最新知識、連接他人和提高生產力。
當然這不只侷限在 FB ，我同時也對 X、Youtube ... 等平台做推薦訓練，這樣又能更進一步為內容做分類。
不需要擔心你會失去娛樂或是漏失掉關鍵新聞。
因為你一旦這麼做，要破防你厚厚的學習同溫層就必定是超級好笑或是超級重要的新聞。
HOTNEWS
在手機上就能運行的 AI Phi-3
Microsoft Phi-3
微小但強悍
— 微軟 Phi-3 全世界最小的模型
Microsoft 最近推出了 Phi-3，一個開源小型語言模型（SLMs），挑戰了傳統的更大模型，在各種任務中表現出色，同時還能在資源有限的環境中保持小型化。
Phi-3 是一系列開源小型語言模型中的一個，創新地打破了 “大一點就好” 的傳統，通過高質量的訓練數據和高效的訓練技術，取得了優異的表現。
Phi-3 包括 Phi-3-mini（38 億參數），Phi-3-small（70 億參數）和 Phi-3-medium（140 億參數）等多個模型，每個模型都擁有不同的應用場景。
Phi-3 的主要優點包括在資源有限的情況下部署，比傳統的大型語言模型更低的計算成本和更快的反應時間等。
Phi-3 的開發過程中，Microsoft 一直秉承着負責任的 AI 開發理念，並對每個模型進行了嚴格的安全性評估和驗證。
未來，Microsoft 將不斷改進 Phi-3，並將支持多種語言和擴大生態系統。
這些小型語言模型可以在更多人使用 AI 時提供更多的可能性，並且可以在本地設備上運行，不需要雲端。
Microsoft Phi-3
▋ 這些小語言模型與大語言模型的差異在哪裡？
小語言模型（SLMs）比大語言模型（LLMs）更適合執行簡單任務，並且更易於使用和存取。
它們可以更容易地根據特定需求進行微調。
小語言模型也可以提供解決方案，用於需要在本地保留數據的受限制的行業和部門，以獲得高品質結果。
此外，SLMs 可以在不需要與雲端連接的情況下在智能手機和其他移動設備上使用，從而最大限度地提高隱私權和降低延遲。
▋ 這些小語言模型是如何學習的？
這些小語言模型是透過使用高品質的訓練資料來學習的，其中包括創建「TinyStories」資料集，以及使用嚴格篩選的公開資料來訓練 Phi-1。
這些資料集是使用嚴謹的提示詞和公式來生成的，並且經過反復篩選和精簡，以確保高品質。
【此外，這些模型還使用了其他 LLM 的幫助來生成和篩選資料。】
▋ Phi-3 是如何挑戰大型語言模型的慣例？
Phi-3 挑戰大型語言模型的慣例，通過以資料為中心的效率為目標，使用高質量的訓練數據來實現出色的性能和較小的模型大小。
它使用嚴格篩選的網絡數據和由現有的大型語言模型生成的虛擬數據來訓練模型。
Phi-3 模型在各種基準測試中取得了斐然成績，包括語言理解、推理能力和編程和數學能力。
特別是，Phi-3-mini 模型在多個基準測試中超越了同等大小的模型，如 Mistral 7B、Gemma 7B 和 Llama3 Instruct 8B。
▋ Phi-3 在實際應用中的優勢在哪些領域？
◆ On-device 和 Offline AI：
由於其緊湊的大小，Phi-3 模型可以直接部署在設備上，如手機或筆電，使其在沒有網絡連接的情況下也能提供強大的語言處理能力。這為語音助手、文本摘要或 code 生成等應用打開了大門。
◆ 成本效益的解決方案：
Phi-3 模型的小型和低計算需求，比傳統的 LLMs 節省了顯著的成本。這使它們在資源緊缺的情況下或用於不需要巨型模型的簡單任務的應用中非常理想。
◆ 更快的響應時間：
Phi-3 模型的高效架構使其能夠更快地推理，因此能更快地處理信息並生成回應。這對於需要即時互動的應用非常重要，例如聊天機器人或虛擬助理。
◆ 更容易的微調：
微調是一種先前訓練的模型進一步為特定任務定制的技術。Phi-3 模型的小型尺寸使其比其更大的對手更容易和更實惠地進行微調。
▋ 結論
Phi-3 的推出給我們一個新的方向來客製更小更個人化模型，我特別喜歡他用其他大模型生成的內容來訓練小模型的作法。
每個大模型都有各自擅長的部份，若是能根據需求來訂製小模型將有機會開啟無限的可能性。
下載模型：Phi-3-Mini-128K
SHARING
自己訪問自己的 AI 分身
Reid Hoffman 訪問自己的 AI 分身，並諮詢它 LinkedIn page 要怎麼調整比較好？
AI 的分身影像是由 hourone.ai 生成
聲音是由 Eleven Labs 訓練
AI 的個性則是由 Chat-Gpt 4 的自定義聊天機器人
短評：
可以請這個分身去各大公司當顧問了！還不會碰到語言的隔閡。
Totally a persona as a service, sick!
Reply