SuirenBlue不具合報告 / SuirenBlue failure report - PEZY User Portal フォーラム

2020Jan

石川正 — Wed, 01 Jan 2020 08:23:12 +0000

1/1 17:00 blue-feにping/sshで入れないので、KEKにきて見ました。

青睡蓮内部および冷却システムの異常はなし。20度です。

ジョブが流れていたのですが、温度をみると1/1の朝に止まったようです。

コンソールは真っ暗で何もできませんので、　電源を入れて直してみます

石川　正

2019Oct

石川正 — Mon, 14 Oct 2019 21:29:07 +0000

ジョブがCG で停止処理に失敗しているようです。こちらでキャンセルできないので

２本キャンセルをお願いします。石川正

$ squeue

JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)

2388 prod32 tmp_bt2. tishika CG 8:22 4 t1n

2390 grand tmp_bt2. tishika CG 7:03 4 t1n

2019 may

石川正 — Sun, 26 May 2019 22:28:20 +0000

青睡蓮5月26日にsinfoで全てのノードがdownしてしまいました。

対応よろしくお願いします。

石川正

status CG のJOB

湯浅富久子 — Mon, 04 Jun 2018 04:32:20 +0000

$ squeue
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)
1213 debug8 run.sh yuasa CG 0:04 1 t1n094

あるJOBが、STがCGになったままになってしまいました。scancelが効かないようですが、どうしたらよいでしょうか。

ABRT

石川正 — Tue, 29 May 2018 03:16:04 +0000

$ sinfo
ABRT により 1 件の問題が検出されました。次を実行して詳細を確認してくださ
い: abrt-cli list --since 1527065869

というメッセージが本日出たそうです。

$ abrt-cli list --since 1527065869

id 8067d2acf68efa28e4acc5fe120e743d2c31d3c2

reason: mce: : Machine check events logged

time: Sat May 26 16:30:38 2018

cmdline: BOOT_IMAGE=/vmlinuz-3.10.0-229.el7.x86_64 root=UUID=718dba69-5432-4c1c-a81b-6d372077623c ro crashkernel=auto rhgb quiet LANG=en_US.UTF-8

package: kernel

count: 1

Directory: /var/tmp/abrt/oops-2018-05-26-16:30:38-13825-0

Reported: cannot be reported

grandクラスを開いてください。

石川正 — Tue, 15 May 2018 14:49:48 +0000

1) slurmでgrandを開けてください。

2) prod32ジョブで以下のようなメッセージでジョブ（2つ）がハングしました。

t1n031が変なのでしょうか？

$ grep Broke slurm-11*

slurm-1175.out: [,0]->[,8] mca_oob_tcp_msg_send_bytes: write failed: Broken pipe (32)

slurm-1175.out: [,0]->[,4] mca_oob_tcp_msg_send_bytes: write failed: Broken pipe (32)

slurm-1175.out: [,0]->[,2] mca_oob_tcp_msg_send_bytes: write failed: Broken pipe (32)

slurm-1175.out: [,0]->[,1] mca_oob_tcp_msg_send_bytes: write failed: Broken pipe (32)

slurm-1175.out: [,0]->[,8] mca_oob_tcp_msg_send_bytes: write failed: Broken pipe (32)

slurm-1175.out: [,0]->[,16] mca_oob_tcp_msg_send_bytes: write failed: Broken pipe (32)

slurm-1178.out: [,0]->[,1] mca_oob_tcp_msg_send_bytes: write failed: Broken pipe (32)

slurm-1178.out: [,0]->[,8] mca_oob_tcp_msg_send_bytes: write failed: Broken pipe (32)

slurm-1178.out: [,0]->[,4] mca_oob_tcp_msg_send_bytes: write failed: Broken pipe (32)

slurm-1178.out: [,0]->[,2] mca_oob_tcp_msg_send_bytes: write failed: Broken pipe (32)

20180315(slum-666)

石川正 — Fri, 16 Mar 2018 01:52:02 +0000

青睡蓮ですが、どうも調子がおかしいようです。
prad32, grand の32 nodeで動作しません。grandの方ですが、

[,0]->[,4] mca_oob_tcp_msg_send_bytes: write failed: Broken pipe (32)
[,0]-[,4] mca_oob_tcp_peer_send_handler: unable to send header
[,0]->[,2] mca_oob_tcp_msg_send_bytes: write failed: Broken pipe (32)
[,0]-[,2] mca_oob_tcp_peer_send_handler: unable to send header
slurmstepd: error: *** JOB 669 ON t1n011 CANCELLED AT 2018-03-15T20:04:48 ***
mpirun: Forwarding signal 18 to job

となりました。エラーは、scancel した際のもののようです。