JSONL Linter, Validator & LLM Dataset Formatter
Copied!
Formatted JSONL (OpenAI messages)
JSONL Linter & Formatter — クリーンなファインチューニングデータ
JSONL Linter & Formatterは、LLMファインチューニング用のJSONL(JSON Lines)データを検証し正規化します。プロンプト/完了またはカスタムキー名を受け入れ、OpenAIスタイルのメッセージオブジェクトを1行に1つずつ出力するため、クリーンなデータをOpenAIまたは互換性のあるパイプラインにアップロードできます。
このツールを使用する理由
- 検証:無効なJSONを早期に検出し、アップロードの失敗を防ぎます。
- 正規化:プロンプト/完了または入力/出力を単一のメッセージ形式に変換します。
- サーバー不要:すべての処理はブラウザ内で実行されます。
主な機能
- 1行に1つのJSON:厳密なJSONLを解析し、最初の不正な行を報告します。
- OpenAI形式:
{"messages": [{"role":"user","content":"..."}, {"role":"assistant","content":"..."}]}を出力します。 - 柔軟な入力:プロンプト/完了および入力/出力キーを認識します。
- コピー:フォーマットされたJSONLをワンクリックでコピー。
仕組み
このツールは入力を改行で分割し、空でない各行をJSONとして解析し、既知のキー名をメッセージ構造にマッピングします。いずれかの行の解析に失敗した場合、行番号とエラーが表示されます。結果は、1行に1つのコンパクトなJSONオブジェクトとして書き戻されます。
JSONL Linter & Formatterを試す
上記にJSONLを貼り付けてください。フォーマットされた出力は下に表示されます。報告された行エラーを修正し、結果をファインチューニングジョブ用にコピーしてください。