本週的主題是與 ChatGPT 相關的內容。在 3 月初，OpenAI 開放了 ChatGPT 的介面。在過去的兩週裡，各種相關的應用如雨後春筍般湧現出來。
其中一些產品已經成為我每天必用的工具。同時，我也在思考如何利用這些工具來提升我的學習和工作效率。特別是在使用 chatPDF 閱讀文章或論文時，不斷提出問題可以讓我的注意力更加集中。
使用過的產品#
閱讀的文章#
前段時間在做一個prompt engineering的翻譯。看完這篇文章終於明白了為什麼需要使用 prompt 來控制 ChatGPT 的輸出結果。
原理
生成模型是一個可以將結構化的符號集合作為輸入並產生相關結構化的符號集合作為輸出的函數
確定性（Deterministic）VS 隨機性（stochastic）
關聯關係（Relationship matters）
- 符號關係之間的多樣性和複雜性
- 潛在空間 -> 可能的輸出結果多維空間
概率分布（Probability distributions）
- 哪些方法可以改變 LLM 模型的概率分布
- 訓練（training）
- 微調（Fine-tuning）
- 人類反饋的強化學習（RLHF）
一些思考#
學習到的技術#
- paul-graham-gpt
- 使用嵌入（embedding）來實現文字搜索 => 使用 cosSim 來計算相似度
export const cosSim = (A: number[], B: number[] ) =>
{
let dotproduct = 0
let MA = 0
let MB = 0
for (let I i < A.length; i++) {
dotproduct += A[i] * B[i]
MA += A[i] * A[i]
MB += B[i] * B[i]
}
MA = Math.sqrt(mA)
MB = Math.sqrt(mB)
const similarity = dotproduct / (MA * MB)
return similarity
}
- openai-translator
- 使用 tauri 將網頁應用打包成桌面應用程式
獨立開發者的機會#
- typingmind 的開發者在一週之內收益20000 美元