不求谌解

这一周的主题是 ChatGPT 相关的内容。3 月初，OpenAI 开放了 ChatGPT 的接口。这两周以来各种相关的应用如雨后春笋般冒出来。

其中的一些产品已经成为我每天必用。同时我也在思考如何利用这些工具来提升我的学习和工作效率。尤其是在用 chatPDF 看文章或者论文时，不停地提出问题，会让我的注意力更加集中。

使用过的产品#

• chatPDF
• typingMind
• openai-translator
• roomGPT
• paul-graham-gpt

看的文章#

• chatgpt-explained-a-guide-for-normies

前段时间在做一个 prompt engineering 的翻译。看完这篇文章终于明白了为什么需要使用 prompt 来控制 ChatGPT 的输出结果。

原理
A generative model is a function that can take a structured collection of symbols as input and produce a related structured collection of symbols as output

确定性（Deterministic） VS 随机性（stochastic）

关联关系（Relationship matters）

• 符号关系之间的多样性和复杂性
• 潜在空间 -> 可能输出结果的多维空间

概率分布（Probability distributions）

• 哪些方法可以改变 LLM 模型的概率分布
  • 训练（training）
  • 微调（Fine-tuning）
  • 人类反馈的强化学习（RLHF）

一些思考#

学习到的技术#

• paul-graham-gpt
  • 使用 embedding 来实现文本搜索 => 使用 cosSim 来计算相似度

export const cosSim = (A: number[], B: number[] ) =>
    {
        let dotproduct = 0
        let MA = 0
        let MB = 0
        for (let I i < A.length; i++) {
            dotproduct += A[i] * B[i]
            MA += A[i] * A[i]
            MB += B[i] * B[i]
        }
        MA = Math.sqrt(mA)
        MB = Math.sqrt(mB)
        const similarity = dotproduct / (MA * MB)
        return similarity
    }

• openai-translator
  • 使用 tauri 将 web 应用打包成桌面 APP

独立开发者的机会#

• typingmind 的开发者在一周之内收益 $20000