アップロード

CSV または DMFF ファイルのアップロード

この機能では、データ (.csv または .dmff ファイル形式) をアップロードして、今後の DATAmaestro プロジェクトで使用されるデータベースを構築 (または入力) できます。データはローカルコンピューターのドライブから DATAmaestro クラウドサーバーにアップロードされ、特定の DATAlake ディレクトリ (= データベース/フォルダー) に保存されるため、データの安全性が確実に保証されます。アップロードが完了した後は、データの全体または一部を任意の DATAmaestro Analytics プロジェクトにエクスポートできます。これにより、データの整合性を維持しながら、データ準備における高い柔軟性を実現できます。

CSV または DMFF ファイルのアップロード：

メインメニューで [アップロード] をクリックします。
[ファイルを選択] をクリックして、アップロードするファイルを選択します。備考: CSV および DMFF ファイルをアップロードできます。
[CSV プレビュー] をクリックします。CSV からデータをアップロードしているときには、ファイル形式 (列区切りおよび数値形式) が自動的に検出され、ファイルの内容とシステムでの読み取り方法が表示されます。列が正しく特定され、区切られていることを確認する前へ/次へ矢印をクリックすると、1 つずつデータベースのフレームを移動できます。オプション左/右矢印をクリックすると、データセットの先頭または末尾に移動します。
CSV プレビュー
プレビューはデータ (データ列、数値、記号変数) の解釈を試みます。元の値のデータ型に応じて、異なる色が列に割り当てられます。「目」の上にカーソルを置くと、元の値が表示されます。
[区切り文字 -] を選択します。オプション: カンマ (既定) またはセミコロンです。区切り文字で区切られた値を使用するファイル形式では、各行の値を特定の区切り文字で区切って、データの配列が格納されます。値を区切るのにはすべての文字を使用できますが、一般的にはカンマ、タブ、コロンが使用されます。CSV はカンマ区切り値を表しますが、多くのデータセットではカンマ以外の区切り文字が使用されます。一般的には、桁区切り文字 (数値形式が 10 進数) の場合、区切り文字はカンマです。一般的に、カンマの数値形式ではセミコロンの区切り文字を指定します。
[数値形式] を選択します。オプション: 1234.50 (既定) または 1234,50
ヘッダーで定義された変数を選択します。既定では、[変数名がヘッダーで定義されている] チェックボックスはオンです。一般的に、ファイルに複数のヘッダーがある場合に使用されます。行 1 でヘッダーの定義を選択します。オプション: 名前、タイトル、単位、分類子、スキップ。他のヘッダーを追加するには、[+ ヘッダー行の追加] をクリックします。
分類子
分類子はデータファイル (DMFF または CSV) に保存されるメタデータです。さまざまなカテゴリに従って属性を分類します。カテゴリには型 (記号/数値)、パラメーター、場所などがあります。たとえば、変数「Steel plate thickness」は「Dimension」として定義されたパラメーターに分類できます。変数「Chemical type」は「Chemical」として定義されたパラメーターに分類できます。詳細については、属性の分類を確認してください。
文字が正しく表示されない文字が正しく表示されない場合は、[文字セット] を選択し、表の右下の [文字が正しく表示されない] をクリックします。Web ブラウザーでは、HTML ページを正しく表示するために使用する文字セット (文字セットまたは文字エンコーディング) を認識する必要があります。オプション: UTF-8 (Unicode) は世界中のほぼすべての文字と記号に対応します。既定では UTF が使用されます。ISO-8859-1 は 256 種類の異なる文字コードをサポートします。windows-1252 は 256 種類の文字コードをサポートする元の Windows 文字セットです。Mac Roman はクラシック Mac OS でテキストを表示するために使用される文字エンコーディングです。
[次へ] をクリックします。
[CSV プレビュー] をクリックします。列の型が数値、記号、または時刻として正しく特定されていない時間変数が使用できない場合は、表の右上に次のメッセージが表示されます。警告: 時間列が選択されていません。ファイルに時間列がない場合は、[DATAmaestro Analytics] > [クイックスタートアップロード] で直接アップロードしてください。必要に応じて、[前へ] をクリックして前の手順に戻ります。
[次へ] をクリックします。
必要に応じて、各列をクリックし、列情報を編集します。
1. 必要に応じて、新しい名前を入力します。
2. 必要に応じて、タイトルを入力します。
3. 列の型の自動定義が正しくない場合は、別の型を選択します。記号、数値、時刻。
4. 必要に応じて、単位を入力します。
時刻列が選択されていない場合、列は青色 (数値) です。列をクリックすると、列情報が下部に表示されます。注記: 時間変数 (緑色の列)、数値変数 (灰色の列)、記号変数 (青色の列)。
[時刻形式] を選択します。オプション: Excel 時間 (既定)、Excel for Mac 時間、Unix 時間 (ミリ秒)、Unix 時間 (s)、テキスト時刻形式の詳細については、「用語集」を確認してください。時刻情報が正しく検出されない場合は、[時刻形式] の下で他の型設定を試し、手動で修正してください。時刻がテキストの場合、[時刻形式] を入力します。備考: テキスト時刻は Java 形式です。疑問符をクリックすると、さまざまなパターン構文の例が表示されます。例: dd/MM/yyyy HH:mm:ss,SSS).

文字  説明
d 月の日
D 通日
M 月
m 分
y   年
H   時刻 (0-23)
h   AM/PM 形式の時刻 (1-12)
s 秒
タイムゾーン
データ時刻パラメーターが Unix 時刻の場合、タイムゾーンは必要ありません。データ時刻が Excel 時間またはテキストの場合、[タイムゾーン] オプションをクリックすると、「ユニバーサル時刻」参照システムでデータを参照できます。
[タイムゾーン] オプションを選択します。例: 欧州/ブリュッセル +02:00この機能では、「絶対時刻」参照システムでデータを参照できるため、他のタイムゾーンで抽出された他のデータと比較できます。
1. 既定値を使用して、既定でタイムゾーンオプションとして定義されたように、[地域] として設定します。
2. 地域 (例: 欧州/ブリュッセル): GMT と比較したデータ時間オフセットが夏と冬で異なる場合は、データが夏時間の期間に入らない場合 (6 か月未満のデータ) でも、このオプションを選択します。例: パリは、冬はグリニッジ標準時より 1 時間進んでいますが、夏はグリニッジ標準時より 2 時間進んでいます。
1. 地域タイムゾーン
  ヒント 1: 夏時間が導入されていない地域のデータの場合は、[固定時間オフセット] または [地域] を選択できます。
2. ヒント 2: 一般的に、データベースとデータヒストリアンは固定時間オフセットを使用します。わかりくにい場合は、冬には 2am が 2 行あり、夏には 2am が省略されているかどうかを考えてください。
  3. 固定オフセット (+02:00): 夏と冬の時間変更に関係なく、常に固定の量が GMT からオフセットされる場合は、このオプションを選択します。
  固定時間オフセット
  ヒント 1: 夏時間が導入されていない地域のデータの場合は、[固定時間オフセット] または [地域] を選択できます。
  ヒント 2: 一般的に、データベースとデータヒストリアンは固定時間オフセットを使用します。わかりくにい場合は、冬には 2am が 2 行あり、夏には 2am が省略されているかどうかを考えてください。
[次へ] をクリックします。
[既存の値をスキップ] ボックスをオンにします。1/ が以前にアップロードされたデータと重複するか、2/ の時間が重複する場合は、有効にします (例: 夏時間には夏から冬に変わります)。[既存の値をスキップ] が有効であるときには、重複データがスキップされます (置換されません)。エラーメッセージは表示されません。無効な場合は、エラーメッセージが表示されます。備考: データは時系列で挿入される必要があります。時系列 Lake のデータは時系列で挿入されます。データがアップロードされるときには、CSV ファイルが行 1 から最後の行まで読み取られます。最初のデータ行は最も古い日付時刻に対応し、最後のデータは最も新しい日付に対応します。これにより、非常に高速の読み取りパフォーマンスを実現できます。行が時系列ではない場合 (昇順の場合)、Lake では過去に書き込むことはできません。
モードを選択します。オプション: 追加 (新しいデータをディレクトリに追加) またはリセット (新しい入力の前にすべてのデータを消去)。
すでにディレクトリがある場合は、[現在のディレクトリ] を選択します。データはこのフォルダーに保存されます。
必要に応じて、新しいサブディレクトリを入力します。データを新しいサブフォルダーに保存する場合は、ここに名前を入力して、新しいサブフォルダーを作成します。
[アップロード] をクリックします。

Lake Explorer

アップロード後、ページは DM Lake Explorer に移動します。ファイルが正常にアップロードされたかどうかを確認するには、1 つのタグを選択し、[統計情報] タブを選択します。

「開始日」と「終了日」の日付に注意してください。既定では、先週の統計情報が表示されます。データファイルの日付範囲を設定するか、「開始日」を削除します。

重複する名前の関する注記:

場合によっては、ファイル名が重複していることがあります。この場合、警告と重複している列番号が表示されます。これを修正するには、アップロードウィザードのステップ 2 で列名を変更します。

次の例では、重複する列 9 Batch_Disc が青色で表示されています。データアップロード 2/3 - 変数を時刻、テキスト、または数値として定義してください。

各重複の列番号をクリックします。
[名前] の下でタグ名を変更します。

[既存の値をスキップ] に関する注記:

[既存の値をスキップ] オプションを選択します。

タイムスタンプが非単調に増加するデータをアップロードする
- 例 1: データは時系列ではありません。データは時系列でアップロードする必要があるため、[既存の値をスキップ] が有効ではない場合、エラーメッセージが表示されます。[既存の値をスキップ] が有効な場合、データがアップロードされ、2017 の行がスキップされます。
すでに保存されたデータよりも古いタイムスタンプを含むデータをアップロードする (「追加」モード)

例 2: 例 1 でアップロードしたファイルに基づいて、Tag 1 の値を変更し、アップロードしたデータの前後に行を追加します。データは単調に増加していないため、[既存の値をスキップ] が有効ではない場合、エラーメッセージが表示されます。[既存の値をスキップ] が表示されている場合は、データがアップロードされ、もう一度 2017 の行がスキップされます。また、02:00 の前の行がスキップされ、10:00 の行が重複します (今は別の値があるため)。ただし、以前にアップロードした値は上書きされません。上書きする場合は、「リセット」を使用します (次のスライドを参照)。

ただし、非単調に増加しているか、適切な順序ではないタイムスタンプはアップロードされません (スキップされます)。

複数のファイルをマージする際の注記:

同じ変数またはタグのデータファイルをマージするには、「追加」モードを使用して、同じディレクトリで時系列でアップロードします。

たとえば、同じタグの 2 つのファイルがあり、1 つのファイルが 2018 のデータで、もう一つのファイルが 2019 のデータだとします。

Lake を使用してこの 2 つのファイルをマージするには、2018 ファイルのアップロードステップ 1～3 に従います。ステップ 3 で、「Plant1」などの [現在のディレクトリ] を選択し、「Line1」などの [新しいサブディレクトリ] を作成します (場所は「Plant1/Line1」です)。
2019 ファイルでステップ 1～3 を繰り返します。ステップ 3 で「追加」モードを選択します。現在のディレクトリの下で「Plant1/Line1」を選択し、[新しいサブディレクトリ] を空欄にします。

別の変数のデータファイルをマージするには、同じサブディレクトリまたは別のサブディレクトリでアップロードできます。エクスポート時には、別のサブディレクトリから変数をエクスポートできます。

Upload