今週のテーマは ChatGPT に関連する内容です。3 月初めに、OpenAI は ChatGPT のインターフェースを公開しました。この 2 週間、さまざまな関連アプリケーションが次々と登場しています。
その中のいくつかの製品は、私の日常的に必要なものとなっています。また、これらのツールを利用して私の学習と仕事の効率を向上させる方法について考えています。特に chatPDF を使って記事や論文を読むときに、質問をし続けることで、私の注意力がより集中します。
使用した製品#
読んだ記事#
以前、プロンプトエンジニアリングの翻訳をしていました。この文章を読んで、なぜプロンプトを使って ChatGPT の出力結果を制御する必要があるのかがやっと理解できました。
原理
生成モデルは、構造化されたシンボルのコレクションを入力として受け取り、関連する構造化されたシンボルのコレクションを出力として生成する関数です
確定性（Deterministic） VS 随機性（stochastic）
関連関係（Relationship matters）
- シンボル間の関係の多様性と複雑性
- 潜在空間 -> 可能な出力結果の多次元空間
確率分布（Probability distributions）
- どの方法が LLM モデルの確率分布を変更できるか
- トレーニング（training）
- ファインチューニング（Fine-tuning）
- 人間のフィードバックによる強化学習（RLHF）
一部の考察#
学んだ技術#
- paul-graham-gpt
- 埋め込みを使用してテキスト検索を実現 => cosSim を使用して類似度を計算
export const cosSim = (A: number[], B: number[] ) =>
{
let dotproduct = 0
let MA = 0
let MB = 0
for (let I i < A.length; i++) {
dotproduct += A[i] * B[i]
MA += A[i] * A[i]
MB += B[i] * B[i]
}
MA = Math.sqrt(mA)
MB = Math.sqrt(mB)
const similarity = dotproduct / (MA * MB)
return similarity
}
- openai-translator
- tauri を使用してウェブアプリをデスクトップアプリにパッケージ化
独立開発者の機会#
- typingmind の開発者は1 週間以内に収益 $20000 を得ました