2023年3月12日的週次

這一週的主題是 ChatGPT 相關的內容。3 月初，OpenAI 開放了 ChatGPT 的接口。這兩週以來各種相關的應用如雨後春筍般冒出來。

其中的一些產品已經成為我每天必用。同時我也在思考如何利用這些工具來提升我的學習和工作效率。尤其是在用 chatPDF 看文章或者論文時，不停地提出問題，會讓我的注意力更加集中。

使用過的產品#

看的文章#

chatgpt-explained-a-guide-for-normies

前段時間在做一個 prompt engineering 的翻譯。看完這篇文章終於明白了為什麼需要使用 prompt 來控制 ChatGPT 的輸出結果。

原理
A generative model is a function that can take a structured collection of symbols as input and produce a related structured collection of symbols as output

確定性（Deterministic） VS 隨機性（stochastic）

關聯關係（Relationship matters）

符號關係之間的多樣性和複雜性
潛在空間 -> 可能輸出結果的多維空間

概率分布（Probability distributions）

哪些方法可以改變 LLM 模型的概率分布
- 訓練（training）
- 微調（Fine-tuning）
- 人類反饋的強化學習（RLHF）

一些思考#

學習到的技術#

paul-graham-gpt
- 使用 embedding 來實現文本搜索 => 使用 cosSim 來計算相似度

export const cosSim = (A: number[], B: number[] ) =>
    {
        let dotproduct = 0
        let MA = 0
        let MB = 0
        for (let I i < A.length; i++) {
            dotproduct += A[i] * B[i]
            MA += A[i] * A[i]
            MB += B[i] * B[i]
        }
        MA = Math.sqrt(mA)
        MB = Math.sqrt(mB)
        const similarity = dotproduct / (MA * MB)
        return similarity
    }

openai-translator
- 使用 tauri 將 web 應用打包成桌面 APP

獨立開發者的機會#

typingmind 的開發者在一周之內收益 $20000