JSONL Linter, Validator & LLM Dataset Formatter

JSONL Linter, Validator & LLM Dataset Formatter
Copied!
Formatted JSONL (OpenAI messages)

JSONL Linter & Formatter — クリーンなファインチューニングデータ

JSONL Linter & Formatterは、LLMファインチューニング用のJSONL(JSON Lines)データを検証し正規化します。プロンプト/完了またはカスタムキー名を受け入れ、OpenAIスタイルのメッセージオブジェクトを1行に1つずつ出力するため、クリーンなデータをOpenAIまたは互換性のあるパイプラインにアップロードできます。

このツールを使用する理由

  • 検証:無効なJSONを早期に検出し、アップロードの失敗を防ぎます。
  • 正規化:プロンプト/完了または入力/出力を単一のメッセージ形式に変換します。
  • サーバー不要:すべての処理はブラウザ内で実行されます。

主な機能

  • 1行に1つのJSON:厳密なJSONLを解析し、最初の不正な行を報告します。
  • OpenAI形式:{"messages": [{"role":"user","content":"..."}, {"role":"assistant","content":"..."}]}を出力します。
  • 柔軟な入力:プロンプト/完了および入力/出力キーを認識します。
  • コピー:フォーマットされたJSONLをワンクリックでコピー。

仕組み

このツールは入力を改行で分割し、空でない各行をJSONとして解析し、既知のキー名をメッセージ構造にマッピングします。いずれかの行の解析に失敗した場合、行番号とエラーが表示されます。結果は、1行に1つのコンパクトなJSONオブジェクトとして書き戻されます。

JSONL Linter & Formatterを試す

上記にJSONLを貼り付けてください。フォーマットされた出力は下に表示されます。報告された行エラーを修正し、結果をファインチューニングジョブ用にコピーしてください。