1. Prerequisites

1.1 Linux Server

CentOS 7 (EOL 2024-06-30), Ubuntu 16.04, 18.04, 20.04 LTS or Debian 11

Small

Medium

Heavy

CPU

8 Core

16 Core

32 Core

RAM

32 GB

64 GB

128 GB

DISK data (SSD/Nvme)

cf. data estimation

cf. data estimation

cf. data estimation

We recommend using different disk for the OS (~20 GB) and the application’s data.

1.2. Java

Choose either OpenJDK or Oracle (deprecated) Java Virtual Machine implementation

1.2.1. OpenJDK

CentOS 7

On the command line, type:

sudo yum install java-1.8.0-openjdk

You can check your current java installation by running the following command in a terminal :

java -version
Ubuntu Debian

On the command line, type:

sudo apt-get install openjdk-8-jdk

1.2.2. Oracle (deprecated)

Download and Install the Oracle JDK8u202  : jdk-8u202-linux-x64.tar.gz

https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html

In the download directory run:

sudo tar xzf jdk-8u202-linux-x64.tar.gz
sudo mv jdk1.8.0_202 /opt/
sudo update-alternatives --install /usr/bin/java java /opt/jdk1.8.0_202/bin/java 2000000

1.3. DATAmaestro Java Archive

You will need the datamaestro-app-<version>-jar-with-dependencies.jar Java archive.

1.4. License

You will need a valid license file license.lic to run DATAmaestro server.

1.5. Firewall For Redirection

You will need a firewall with port redirection feature:

shorewall : https://shorewall.org/

CentOS

sudo yum install shorewall

EPEL repository must be added : https://fedoraproject.org/wiki/EPEL

Ubuntu

sudo apt-get install shorewall

2. Installation

2.1. datamaestro set up

Create datamaestro-server user:

adduser datamaestro-server
# type a password

Move the Java archive to the user home directory:

mv datamaestro-app-jar-<version>-jar-with-dependencies.jar /home/datamaestro-server/

Add symlink to the java archive:

ln -s datamaestro-app-jar-<version>-jar-with-dependencies.jar datamaestro.jar

Change owner of the Java archive:

chown -R datamaestro-server:datamaestro-server /home/datamaestro-server/*


(OPTIONAL) Create a symlink .PEPITe to any location you want DATAmaestro installed to. 

ln -s /data/pepite /home/datamaestro-server/.PEPITe


Start DATAmaestro server from the datamaestro-server home directory as datamaestro-server user

sudo su datamaestro-server
java -jar datamaestro.jar

Then abort by pressing CTRL + C, ENTER. A directory .PEPITe should be created into the home directory of datamaestro-server.

Copy license.lic file to /home/datamaestro-server/.PEPITe/DATAmaestro/

Create a file named config and edit as follow :

{
	"rotateLog": 30,
	"serverPort": 8080,
	"securePort": 4443
}

(Change owner of license.lic and config files if they are not owned by datamaestro-server user)

An in-depth configuration document is accessible for a logged in user on the following URL : http://server-hostname/api/debug/help

2.2. datamaestro service

Create unit file in /etc/systemd/system/datamaestro.service with the following content:

[Unit]
Description=DATAmaestro Service
After=network.target
 
[Service]
Type=simple
User=datamaestro-server
Group=datamaestro-server
WorkingDirectory=/home/datamaestro-server
ExecStart=/usr/bin/java -Xmx18000m -Xms18000m -XX:+UseThreadPriorities -XX:ThreadPriorityPolicy=42 -server -jar /home/datamaestro-server/datamaestro.jar
 
Restart=on-failure
 
[Install]
WantedBy=multi-user.target

rem :

  • For -Xmx and -Xms use ~50% of the RAM, specified as megabyte

  • Do not wrap the ExecStart command into a start_datamaestro.sh

Enable and start service:

sudo systemctl enable datamaestro
sudo systemctl start datamaestro

2.3. Firewall Redirection

DATAmaestro is running under a non-root user. Port < 1024 can not be used by the Java process. We need to forward http(s) requests on port 80 to port 8080 and 443 to 4443.

2.3.1. Configure REDIRECT via shorewall

On Ubuntu, copy the examples files (CentOS already provide the files):

cd /usr/share/doc/shorewall/examples/one-interface/
cp zones interfaces policy rules /etc/shorewall/

Add theses lines to /etc/shorewall/interfaces :

net eth0

(Replace eth0 by your interface name)

Add theses lines to /etc/shorewall/zones  :

fw firewall
net ipv4

Add theses lines to /etc/shorewall/policy : 

fw net ACCEPT
net all ACCEPT
all all REJECT

Add theses lines to /etc/shorewall/rules :

ACCEPT net fw tcp 22
REDIRECT all 4443 tcp 443 - -
REDIRECT all 8080 tcp 80 - -

CentOS:

/etc/shorewall/shorewall.conf

STARTUP_ENABLED=Yes

Ubuntu:

Edit /etc/default/shorewall and set 

startup=1

Enable and start service 

sudo systemctl enable shorewall
sudo systemctl start shorewall

3. Login


Open a browser with the URL http://<server-hostname> and the DATAmaestro login page should appears (via https, the browser will warn you that the website does use a self-signed certificate, you can ignore the warning).

Login via credentials admin/admin and change the admin password in User Administration (cf. User Administration ).

DATAmaestro サーバーのインストール

1.前提条件

1.1 Linux サーバー

CentOS 7.8 (または Ubuntu 16.04、18.04、20.04 LTS) サーバー。管理者権限が付与されていること。

CPU

8 コア

16 コア

32 コア

RAM

32 GB

64 GB

128 GB

ディスクデータ (SSD/Nvme)

データ見積もりを参照

データ見積もりを参照

データ見積もりを参照

(~20 GB) とアプリケーションのデータでは別のディスクを使用することをお勧めします。

1.2.Java

OpenJDK または Oracle (廃止予定) Java 仮想マシン(JVM)実装を選択します。

1.2.1.OpenJDK

CentOS 7

コマンドラインで次のコマンドを入力します。

sudo yum install java-1.8.0-openjdk

ターミナルで次のコマンドを実行すると、インストールされている現在のJavaバージョンを確認できます。

java -version

Ubuntu 

コマンドラインで次のコマンドを入力します。

sudo apt-get install openjdk-8-jdk

1.2.2.Oracle

Oracle JDK8u202 (jdk-8u202-linux-x64.tar.gz) をダウンロードしてインストールします。

https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html

ダウンロードディレクトリで次のコマンドを実行します。

sudo tar xzf jdk-8u202-linux-x64.tar.gz

sudo mv jdk1.8.0_202 /opt/

sudo update-alternatives --install /usr/bin/java java /opt/jdk1.8.0_202/bin/java 2000000

1.3.DATAmaestro Java アーカイブ

datamaestro-app-<バージョン>-jar-with-dependencies.jar Java アーカイブが必要です。

1.4.ライセンス

DATAmaestro サーバーを実行するには、有効なライセンスファイル license.lic が必要です。

1.5.リダイレクト対応ファイアウォール

ポートリダイレクト機能を備えたファイアウォールが必要です。

shorewall : https://shorewall.org/

CentOS

sudo yum install shorewall

EPEL リポジトリを追加する必要があります。https://fedoraproject.org/wiki/EPEL

Ubuntu

sudo apt-get install shorewall

2.インストール

2.1. datamaestro のセットアップ

datamaestro-server ユーザーを作成します。

adduser datamaestro-server

# type a password

Java アーカイブをユーザーのホームディレクトリに移動します。

mv datamaestro-app-jar-<version>-jar-with-dependencies.jar /home/datamaestro-server/

Java アーカイブにシンボリックリンクを追加します。

ln -s datamaestro-app-jar-<version>-jar-with-dependencies.jar datamaestro.jar

Java アーカイブの所有者を変更します。

chown -R datamaestro-server:datamaestro-server /home/datamaestro-server/*

(任意) DATAmaestro をインストールする任意の場所へのシンボリックリンク .PEPITe を作成します。 

ln -s /data/pepite /home/datamaestro-server/.PEPITe

datamaestro-server ホームディレクトリから datamaestro-server ユーザーとして DATAmaestro サーバーを起動します。

sudo su datamaestro-server

java -jar datamaestro.jar

CTRL + C キーと ENTER キーを押して中断します。datamaestro-server のホームディレクトリにディレクトリ .PEPITe が作成されます。

license.lic ファイルを /home/datamaestro-server/.PEPITe/DATAmaestro/ にコピーします。

ファイル config を作成し、次のように編集します。

{

"rotateLog": 30,

"serverPort": 8080,

"securePort": 4443

}

(datamaestro-server ユーザーが所有していない場合は、license.lic および config ファイルの所有者を変更します。)

ログインユーザーは次の URL で構成に関する詳細なドキュメントを参照できます。http://server-hostname/api/debug/help

2.2. datamaestro サービス

/etc/systemd/system/datamaestro.service に次の内容の unit ファイルを作成します。 

[Unit]

Description=DATAmaestro Service

After=network.target

 

[Service]

Type=simple

User=datamaestro-server

Group=datamaestro-server

WorkingDirectory=/home/datamaestro-server

ExecStart=/usr/bin/java -Xmx18000m -Xms18000m -XX:+UseThreadPriorities -XX:ThreadPriorityPolicy=42 -server -jar /home/datamaestro-server/datamaestro.jar

 

Restart=on-failure

 

[Install]

WantedBy=multi-user.target

rem : 

  • -Xmx および -Xms の場合、最大 50% の RAM を使用します。メガバイト単位で指定します。

  • ExecStart コマンドは start_datamaestro.sh スクリプトにしないでください。

サービスを有効にして起動します。

sudo systemctl enable datamaestro

sudo systemctl start datamaestro

2.3.ファイアウォールリダイレクト

DATAmaestro は非ルートユーザーで実行されています。Java プロセスでは 1023 以下のポートを使用できません。このため、80 番ポートと 443 番ポートの http(s) 要求をそれぞれ 8080 番ポートと 4443 番ポートに転送する必要があります。

2.3.1.shorewall 経由でリダイレクトを構成

Ubuntu ではサンプルファイルをコピーします (CentOS にはこのファイルが付属しています)。

cd /usr/share/doc/shorewall/examples/one-interface/

cp zones interfaces policy rules /etc/shorewall/

次の行を /etc/shorewall/interfaces に追加します。

net eth0

(eth0 は任意のインターフェイス名に変更します。)

次の行を /etc/shorewall/zones に追加します。

fw firewall

net ipv4

次の行を /etc/shorewall/policy に追加します。 

fw net ACCEPT

net all ACCEPT

all all REJECT

次の行を /etc/shorewall/rules に追加します。

ACCEPT net fw tcp 22

REDIRECT all 4443 tcp 443 - -

REDIRECT all 8080 tcp 80 - -

CentOS:

/etc/shorewall/shorewall.conf

STARTUP_ENABLED=Yes

Ubuntu:

/etc/default/shorewall を編集し、次の項目を設定します。 

startup=1

サービスを有効にして起動します。 

sudo systemctl enable shorewall

sudo systemctl start shorewall

3.ログイン

URL http://<サーバーホスト名> でブラウザーを開きます。DATAmaestro ログインページが表示されます (https 経由では、Web サイトで自己署名証明書が使用されているという警告がブラウザーに表示されますが、この警告は無視できます)。

認証資格情報 admin/admin でログインし、[ユーザー管理] で管理者パスワードを変更します (「ユーザー管理」を参照)。