カスタム・モデル・データセット

• 最初の行は、次の2列の名前を含むヘッダーである必要があります。

  • text: 分類するテキストを取得します。
  • labels: 割り当てられた1つ以上のクラスを取得します。マルチラベルの分類データセットの場合、複数のクラス名を指定するには、それらを|記号で結合します。
• ヘッダー行の後の全ての行に研修レコードが含まれます。
• ファイルに2つ以上の列がある場合、モデルのトレーニングにはtext列およびlabels列のみが使用されます。

• CSVファイルのエンコーディングには、UTF-8を使用します。Excelを使用する場合は、ファイルをCSV UTF-8 (カンマ区切り)(.csv)として保存します。

• デリミタには、カンマ(,)を使用します。
• エスケープ文字の場合は、二重引用符(")を使用します。これは、Unicode文字U+0022でも知られています。

  たとえば、Excelで次のテキストを入力するとします。

  This is a "double quote" sentence

  前述の文は、次のようにCSVに格納されます。

  "This is a ""double quote"" sentence"

単一ラベルのテキスト分類用のCSVファイルの例:

text,labels
Windows OS -unable to print,Network Printer Failure
Citrix Account frequently locking,Account (Password reset)
Pull print queue not working ,Application Component Disconnect
wifi disable and lan is disconnected at the desktop,Hardware Device Failure

Windows OS -unable to print,Network Printer Failure
Pull print queue not working ,Application Component Disconnect|Network Printer Failure
wifi disable and lan is disconnected at the desktop,Hardware Device Failure|Network Connection Issue

JSONファイルにはトレーニング・データは含まれません。代わりに、JSONファイルは、ラベルとラベルなしデータを含むファイルへのポインタ(相対パス)を含むマニフェストファイルです。

JSON形式はJSON行(JSONL)形式であり、各行は単一のJSONオブジェクトです。

• オブジェクトの最初の行は、ラベルまたはクラスのセットと注釈ファイルのタイプを示します。
• 後続のすべての行は、研修レコードの説明です。

• すべてのテキスト・ファイルをマニフェスト・ファイル(.jsonl)と同じディレクトリに保存し、トレーニング・レコードにファイル名を付けます。

1. 最初の行はヘッダー行です。これには、ファイル・タイプを記述するJSONオブジェクトが含まれます。
2. 後続の行には、ラベル付きレコードを表すJSONオブジェクトが含まれます。

{
    "labelsSet": [
      {
        "name": "Label1"
      },
      {
        "name": "Label2"
      },
      {
        "name": "Label3"
      },
      {
        "name": "Label4"
      }
    ],
    "annotationFormat": "ENTITY_EXTRACTION",
    "datasetFormatDetails": {
      "formatType": "TEXT"
    }
  }

{
    "sourceDetails": {
      "path": "Complaint3.txt"
    },
    "annotations": [
      {
        "entities": [
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              },
              {
                "label_name": "Label2"
              }
            ],
            "textSpan": {
              "offset": 0,
              "length": 28
            }
          },
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              }
            ],
            "textSpan": {
              "offset": 196,
              "length": 11
            }
          }
        ]
      }
    ]
  }