web-dev-qa-db-ja.com

Mysql（percona-server 5.5）はインポート中に完全に停止します（myloader）

新しいサーバー（IBM X3650M4、2x Intel Xeon E5-2620、64G RAM、RAID 10（4x 240G SSD））の構成中に、奇妙な問題にぶつかりました。ダンプ（mydumper）を（古い）本番環境から新しい環境にインポートしようとしていますが、ほとんどインポートできません。

ダンプは47G（圧縮）、+ /-4500テーブルであり、最大のテーブルは7.1G（54285914行）、2.2G、1.7Gおよび1.7Gです。

12（または8）スレッドでmyloaderを実行しようとしていますが、ほとんどの場合失敗します。数分後、myloaderは大きなテーブルに出会い、ただストールします。いくつかのツールはこれ以上アクティビティを表示しません（htop CPUロードなし、iostat書き込みまたは読み取りなし）、mytopは4つの（長時間実行）クエリが完了せず、ほとんどのinnotop画面がフリーズします（_SHOW INNODB STATUS_が結果を返さないため） 。 mysqlはいくつかのスレッドを強制終了できないため、mysqlを再起動しようとしても失敗します。唯一の解決策は、_killall -9 mysqld mysql_を使用することです。

次のmysql設定を使用しています。

_# cat /etc/mysql/my.cnf 
# Ansible managed

[client]
port = 3306
socket = /var/run/mysqld/mysqld.sock

ssl_cert = /etc/mysql/client-cert.pem
ssl_key = /etc/mysql/client-key.pem

[mysqld_safe]
socket = /var/run/mysqld/mysqld.sock
Nice = 0

[mysqld]
user = mysql
socket = /var/run/mysqld/mysqld.sock
pid_file = /var/run/mysqld/mysqld.pid
port = 3306
basedir = /usr
datadir = /var/lib/mysql
tmpdir = /tmp
lc_messages_dir = /usr/share/mysql

general_log = 0
general_log_file = /var/log/mysql/mysql.log
log_error = /var/log/mysql/error.log
log_queries_not_using_indexes = 0
slow_query_log = 0
slow_query_log_file = /var/log/mysql/mysql-slow.log

skip_external_locking = 1
skip_name_resolve = 1

max_connections = 1000
wait_timeout = 28800
interactive_timeout = 28800

sql_mode = NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

character_set_server = utf8
collation_server = utf8_general_ci
skip-character-set-client-handshake
init_connect='SET collation_connection = utf8_general_ci; SET NAMES utf8;'

default_storage_engine = InnoDB

key_buffer_size = 32M
myisam_recover_options = FORCE,BACKUP

thread_stack = 256K
thread_cache_size = 500

query_cache_type = 0
query_cache_limit = 2M
query_cache_size = 64M

max_allowed_packet = 256M
group_concat_max_len = 256M

tmp_table_size = 256M
max_heap_table_size = 64M

open_files_limit = 65535
innodb_open_files = 8192
table_definition_cache = 8192
table_open_cache = 8192

expire_logs_days = 7
max_binlog_size = 1G

innodb_buffer_pool_size = 32G
innodb_additional_mem_pool_size = 64M
innodb_log_file_size = 512M
innodb_log_buffer_size = 16M
innodb_flush_log_at_trx_commit = 2
innodb_flush_method = O_DIRECT
innodb_thread_concurrency = 0
innodb_write_io_threads = 8
innodb_read_io_threads = 8
innodb_io_capacity = 25000

innodb_file_per_table
innodb_stats_on_metadata = 0

innodb_adaptive_flushing_method = keep_average
innodb_flush_neighbor_pages = none
log_warnings_suppress = 1592
query_response_time_stats = 1

ssl_ca = /etc/mysql/ca-cert.pem
ssl_cert = /etc/mysql/server-cert.pem
ssl_key = /etc/mysql/server-key.pem

[mysqldump]
quick
quote-names
max_allowed_packet = 256M

[mysql]

[isamchk]
key_buffer_size = 32M

!includedir /etc/mysql/conf.d/
_

次のext4マウントオプションを使用しています。

_defaults,noatime,nobarrier
_

次のレイド（コントローラー）設定を使用しています。

_# ./MegaCli64 -LDInfo -Lall -aAll


Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name                :
RAID Level          : Primary-1, Secondary-0, RAID Level Qualifier-0
Size                : 445.171 GB
Sector Size         : 512
Is VD emulated      : No
Mirror Data         : 445.171 GB
State               : Optimal
Strip Size          : 128 KB
Number Of Drives per span:2
Span Depth          : 2
Default Cache Policy: WriteThrough, ReadAhead, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteThrough, ReadAhead, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Disabled
Encryption Type     : None
PI type: No PI

Is VD Cached: No


Virtual Drive: 1 (Target Id: 1)
Name                :
RAID Level          : Primary-1, Secondary-0, RAID Level Qualifier-0
Size                : 930.390 GB
Sector Size         : 512
Is VD emulated      : No
Mirror Data         : 930.390 GB
State               : Optimal
Strip Size          : 128 KB
Number Of Drives    : 2
Span Depth          : 1
Default Cache Policy: WriteThrough, ReadAhead, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteThrough, ReadAhead, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Disabled
Encryption Type     : None
PI type: No PI

Is VD Cached: No



Exit Code: 0x00
_

そして

_# ./MegaCli64 -AdpAllInfo -a0

Adapter #0

==============================================================================
                    Versions
                ================
Product Name    : ServeRAID M5110e
Serial No       : 31R0NE          
FW Package Build: 23.22.0-0024

                    Mfg. Data
                ================
Mfg. Date       : 01/24/13
Rework Date     : 01/24/13
Revision No     :  00W2671
Battery FRU     :         

                Image Versions in Flash:
                ================
BIOS Version       : 5.45.07.2_4.16.08.00_0x06030503
FW Version         : 3.340.75-3372
NVDATA Version     : 2.1312.03-0126
WebBIOS Version    : 6.1-71-e_71-Rel
Preboot CLI Version: 05.07-00:#%00011
Boot Block Version : 2.05.00.00-0010
BOOT Version       : 07.26.26.219

                Pending Images in Flash
                ================
None

                PCI Info
                ================
Controller Id   : 0000
Vendor Id       : 1000
Device Id       : 005b
SubVendorId     : 1014
SubDeviceId     : 0412

Host Interface  : PCIE

ChipRevision    : D1

Link Speed       : 0 
Number of Frontend Port: 0 
Device Interface  : PCIE

Number of Backend Port: 8 
Port  :  Address
0        4433221100000000 
1        4433221101000000 
2        4433221102000000 
3        4433221103000000 
4        4433221104000000 
5        4433221105000000 
6        0000000000000000 
7        0000000000000000 

                HW Configuration
                ================
SAS Address      : 500507605803cfa8
BBU              : Present
Alarm            : Present
NVRAM            : Present
Serial Debugger  : Present
Memory           : Present
Flash            : Present
Memory Size      : 512MB
TPM              : Absent
On board Expander: Absent
Upgrade Key      : Present
Temperature sensor for ROC    : Present
Temperature sensor for controller    : Absent

ROC temperature : 59  degree Celsius

                Settings
                ================
Current Time                     : 20:52:13 11/12, 2015
Predictive Fail Poll Interval    : 300sec
Interrupt Throttle Active Count  : 16
Interrupt Throttle Completion    : 50us
Rebuild Rate                     : 30%
PR Rate                          : 30%
BGI Rate                         : 30%
Check Consistency Rate           : 30%
Reconstruction Rate              : 30%
Cache Flush Interval             : 4s
Max Drives to Spinup at One Time : 2
Delay Among Spinup Groups        : 12s
Physical Drive Coercion Mode     : 1GB
Cluster Mode                     : Disabled
Alarm                            : Disabled
Auto Rebuild                     : Enabled
Battery Warning                  : Enabled
Ecc Bucket Size                  : 15
Ecc Bucket Leak Rate             : 1440 Minutes
Restore HotSpare on Insertion    : Disabled
Expose Enclosure Devices         : Enabled
Maintain PD Fail History         : Enabled
Host Request Reordering          : Enabled
Auto Detect BackPlane Enabled    : SGPIO/i2c SEP
Load Balance Mode                : Auto
Use FDE Only                     : Yes
Security Key Assigned            : No
Security Key Failed              : No
Security Key Not Backedup        : No
Default LD PowerSave Policy      : Controller Defined
Maximum number of direct attached drives to spin up in 1 min : 10 
Auto Enhanced Import             : No
Any Offline VD Cache Preserved   : No
Allow Boot with Preserved Cache  : No
Disable Online Controller Reset  : No
PFK in NVRAM                     : Yes
Use disk activity for locate     : No
POST delay           : 90 seconds
BIOS Error Handling              : Stop On Errors
Current Boot Mode         :Normal
                Capabilities
                ================
RAID Level Supported             : RAID0, RAID1, RAID5, RAID6, RAID00, RAID10, RAID50, RAID60, PRL 11, PRL 11 with spanning, SRL 3 supported, PRL11-RLQ0 DDF layout with no span, PRL11-RLQ0 DDF layout with span
Supported Drives                 : SAS, SATA

Allowed Mixing:

Mix in Enclosure Allowed

                Status
                ================
ECC Bucket Count                 : 0

                Limitations
                ================
Max Arms Per VD          : 32 
Max Spans Per VD         : 8 
Max Arrays               : 128 
Max Number of VDs        : 64 
Max Parallel Commands    : 1008 
Max SGE Count            : 60 
Max Data Transfer Size   : 8192 sectors 
Max Strips PerIO         : 42 
Max LD per array         : 16 
Min Strip Size           : 8 KB
Max Strip Size           : 1.0 MB
Max Configurable CacheCade Size: 0 GB
Current Size of CacheCade      : 0 GB
Current Size of FW Cache       : 368 MB

                Device Present
                ================
Virtual Drives    : 2 
  Degraded        : 0 
  Offline         : 0 
Physical Devices  : 7 
  Disks           : 6 
  Critical Disks  : 0 
  Failed Disks    : 0 

                Supported Adapter Operations
                ================
Rebuild Rate                    : Yes
CC Rate                         : Yes
BGI Rate                        : Yes
Reconstruct Rate                : Yes
Patrol Read Rate                : Yes
Alarm Control                   : Yes
Cluster Support                 : Yes
BBU                             : Yes
Spanning                        : Yes
Dedicated Hot Spare             : Yes
Revertible Hot Spares           : Yes
Foreign Config Import           : Yes
Self Diagnostic                 : Yes
Allow Mixed Redundancy on Array : No
Global Hot Spares               : Yes
Deny SCSI Passthrough           : No
Deny SMP Passthrough            : No
Deny STP Passthrough            : No
Support Security                : Yes
Snapshot Enabled                : No
Support the OCE without adding drives : Yes
Support PFK                     : Yes
Support PI                      : Yes
Support Boot Time PFK Change    : Yes
Disable Online PFK Change       : Yes
Support LDPI Type1                      : No
Support LDPI Type2                      : No
Support LDPI Type3                      : No
PFK TrailTime Remaining         : 0 days 0 hours
Support Shield State            : Yes
Block SSD Write Disk Cache Change: No
Support Online FW Update    : Yes

                Supported VD Operations
                ================
Read Policy          : Yes
Write Policy         : Yes
IO Policy            : Yes
Access Policy        : Yes
Disk Cache Policy    : Yes
Reconstruction       : Yes
Deny Locate          : No
Deny CC              : No
Allow Ctrl Encryption: No
Enable LDBBM         : No
Support Breakmirror  : No
Power Savings        : No

                Supported PD Operations
                ================
Force Online                            : Yes
Force Offline                           : Yes
Force Rebuild                           : Yes
Deny Force Failed                       : No
Deny Force Good/Bad                     : No
Deny Missing Replace                    : No
Deny Clear                              : No
Deny Locate                             : No
Support Temperature                     : Yes
NCQ                                     : Yes
Disable Copyback                        : No
Enable JBOD                             : No
Enable Copyback on SMART                : No
Enable Copyback to SSD on SMART Error   : Yes
Enable SSD Patrol Read                  : No
PR Correct Unconfigured Areas           : Yes
                Error Counters
                ================
Memory Correctable Errors   : 0 
Memory Uncorrectable Errors : 0 

                Cluster Information
                ================
Cluster Permitted     : No
Cluster Active        : No

                Default Settings
                ================
Phy Polarity                     : 0 
Phy PolaritySplit                : 0 
Background Rate                  : 30 
Strip Size                       : 128kB
Flush Time                       : 4 seconds
Write Policy                     : WB
Read Policy                      : Adaptive
Cache When BBU Bad               : Disabled
Cached IO                        : No
SMART Mode                       : Mode 6
Alarm Disable                    : No
Coercion Mode                    : 1GB
ZCR Config                       : Unknown
Dirty LED Shows Drive Activity   : No
BIOS Continue on Error           : 0 
Spin Down Mode                   : None
Allowed Device Type              : SAS/SATA Mix
Allow Mix in Enclosure           : Yes
Allow HDD SAS/SATA Mix in VD     : No
Allow SSD SAS/SATA Mix in VD     : No
Allow HDD/SSD Mix in VD          : No
Allow SATA in Cluster            : No
Max Chained Enclosures           : 16 
Disable Ctrl-R                   : Yes
Enable Web BIOS                  : Yes
Direct PD Mapping                : No
BIOS Enumerate VDs               : Yes
Restore Hot Spare on Insertion   : No
Expose Enclosure Devices         : Yes
Maintain PD Fail History         : Yes
Disable Puncturing               : Yes
Zero Based Enclosure Enumeration : No
PreBoot CLI Enabled              : Yes
LED Show Drive Activity          : Yes
Cluster Disable                  : No
SAS Disable                      : No
Auto Detect BackPlane Enable     : SGPIO/i2c SEP
Use FDE Only                     : Yes
Enable Led Header                : No
Delay during POST                : 0 
EnableCrashDump                  : No
Disable Online Controller Reset  : No
EnableLDBBM                      : No
Un-Certified Hard Disk Drives    : Allow
Treat Single span R1E as R10     : No
Max LD per array                 : 16
Power Saving option              : All power saving options are disabled
Default spin down time in minutes: 30 
Enable JBOD                      : No
TTY Log In Flash                 : No
Auto Enhanced Import             : No
BreakMirror RAID Support         : No
Disable Join Mirror              : No
Enable Shield State              : Yes
Time taken to detect CME         : 60s

Exit Code: 0x00
_

そして

_# ./MegaCli64 -PDList -a0

Adapter #0

Enclosure Device ID: 252
Slot Number: 0
Drive's position: DiskGroup: 0, Span: 0, Arm: 0
Enclosure position: N/A
Device Id: 0
WWN: 50025385700191ba
Sequence Number: 2
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SATA

Raw Size: 223.570 GB [0x1bf244b0 Sectors]
Non Coerced Size: 223.070 GB [0x1be244b0 Sectors]
Coerced Size: 222.585 GB [0x1bd2c000 Sectors]
Sector Size:  512
Logical Sector Size:  512
Physical Sector Size:  512
Firmware state: Online, Spun Up
Commissioned Spare : No
Emergency Spare : No
Device Firmware Level: 203Q
Shield Counter: 0
Successful diagnostics completion on :  N/A
SAS Address(0): 0x4433221100000000
Connected Port Number: 0(path0) 
Inquiry Data: S1G0NWAG600282      SAMSUNG MZ7WD240HCFV-00003              DXM9203Q
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Needs EKM Attention: No
Foreign State: None 
Device Speed: 6.0Gb/s 
Link Speed: 6.0Gb/s 
Media Type: Solid State Device
Drive:  Not Certified
Drive Temperature :34C (93.20 F)
PI Eligibility:  No 
Drive is formatted for PI information:  No
PI: No PI
Drive's NCQ setting : Enabled
Port-0 :
Port status: Active
Port's Linkspeed: 6.0Gb/s 
Drive has flagged a S.M.A.R.T alert : No



Enclosure Device ID: 252
Slot Number: 1
Drive's position: DiskGroup: 0, Span: 0, Arm: 1
Enclosure position: N/A
Device Id: 1
WWN: 50025385700191c6
Sequence Number: 2
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SATA

Raw Size: 223.570 GB [0x1bf244b0 Sectors]
Non Coerced Size: 223.070 GB [0x1be244b0 Sectors]
Coerced Size: 222.585 GB [0x1bd2c000 Sectors]
Sector Size:  512
Logical Sector Size:  512
Physical Sector Size:  512
Firmware state: Online, Spun Up
Commissioned Spare : No
Emergency Spare : No
Device Firmware Level: 203Q
Shield Counter: 0
Successful diagnostics completion on :  N/A
SAS Address(0): 0x4433221101000000
Connected Port Number: 1(path0) 
Inquiry Data: S1G0NWAG600294      SAMSUNG MZ7WD240HCFV-00003              DXM9203Q
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Needs EKM Attention: No
Foreign State: None 
Device Speed: 6.0Gb/s 
Link Speed: 6.0Gb/s 
Media Type: Solid State Device
Drive:  Not Certified
Drive Temperature :33C (91.40 F)
PI Eligibility:  No 
Drive is formatted for PI information:  No
PI: No PI
Drive's NCQ setting : Enabled
Port-0 :
Port status: Active
Port's Linkspeed: 6.0Gb/s 
Drive has flagged a S.M.A.R.T alert : No



Enclosure Device ID: 252
Slot Number: 2
Drive's position: DiskGroup: 0, Span: 1, Arm: 0
Enclosure position: N/A
Device Id: 2
WWN: 50025385700191c2
Sequence Number: 2
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SATA

Raw Size: 223.570 GB [0x1bf244b0 Sectors]
Non Coerced Size: 223.070 GB [0x1be244b0 Sectors]
Coerced Size: 222.585 GB [0x1bd2c000 Sectors]
Sector Size:  512
Logical Sector Size:  512
Physical Sector Size:  512
Firmware state: Online, Spun Up
Commissioned Spare : No
Emergency Spare : No
Device Firmware Level: 203Q
Shield Counter: 0
Successful diagnostics completion on :  N/A
SAS Address(0): 0x4433221102000000
Connected Port Number: 2(path0) 
Inquiry Data: S1G0NWAG600290      SAMSUNG MZ7WD240HCFV-00003              DXM9203Q
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Needs EKM Attention: No
Foreign State: None 
Device Speed: 6.0Gb/s 
Link Speed: 6.0Gb/s 
Media Type: Solid State Device
Drive:  Not Certified
Drive Temperature :33C (91.40 F)
PI Eligibility:  No 
Drive is formatted for PI information:  No
PI: No PI
Drive's NCQ setting : Enabled
Port-0 :
Port status: Active
Port's Linkspeed: 6.0Gb/s 
Drive has flagged a S.M.A.R.T alert : No



Enclosure Device ID: 252
Slot Number: 3
Drive's position: DiskGroup: 0, Span: 1, Arm: 1
Enclosure position: N/A
Device Id: 3
WWN: 50025385700191b7
Sequence Number: 2
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SATA

Raw Size: 223.570 GB [0x1bf244b0 Sectors]
Non Coerced Size: 223.070 GB [0x1be244b0 Sectors]
Coerced Size: 222.585 GB [0x1bd2c000 Sectors]
Sector Size:  512
Logical Sector Size:  512
Physical Sector Size:  512
Firmware state: Online, Spun Up
Commissioned Spare : No
Emergency Spare : No
Device Firmware Level: 203Q
Shield Counter: 0
Successful diagnostics completion on :  N/A
SAS Address(0): 0x4433221103000000
Connected Port Number: 3(path0) 
Inquiry Data: S1G0NWAG600279      SAMSUNG MZ7WD240HCFV-00003              DXM9203Q
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Needs EKM Attention: No
Foreign State: None 
Device Speed: 6.0Gb/s 
Link Speed: 6.0Gb/s 
Media Type: Solid State Device
Drive:  Not Certified
Drive Temperature :35C (95.00 F)
PI Eligibility:  No 
Drive is formatted for PI information:  No
PI: No PI
Drive's NCQ setting : Enabled
Port-0 :
Port status: Active
Port's Linkspeed: 6.0Gb/s 
Drive has flagged a S.M.A.R.T alert : No



Enclosure Device ID: 252
Slot Number: 4
Drive's position: DiskGroup: 1, Span: 0, Arm: 0
Enclosure position: N/A
Device Id: 4
WWN: 5000c5004f547de9
Sequence Number: 2
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SATA

Raw Size: 931.512 GB [0x74706db0 Sectors]
Non Coerced Size: 931.012 GB [0x74606db0 Sectors]
Coerced Size: 930.390 GB [0x744c8000 Sectors]
Sector Size:  512
Logical Sector Size:  512
Physical Sector Size:  512
Firmware state: Online, Spun Up
Commissioned Spare : No
Emergency Spare : No
Device Firmware Level: HPGD
Shield Counter: 0
Successful diagnostics completion on :  N/A
SAS Address(0): 0x4433221104000000
Connected Port Number: 4(path0) 
Inquiry Data: Z1N3AYLE            MB1000GCEHH                             HPGD    
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Needs EKM Attention: No
Foreign State: None 
Device Speed: 6.0Gb/s 
Link Speed: 6.0Gb/s 
Media Type: Hard Disk Device
Drive:  Not Certified
Drive Temperature :34C (93.20 F)
PI Eligibility:  No 
Drive is formatted for PI information:  No
PI: No PI
Drive's NCQ setting : Enabled
Port-0 :
Port status: Active
Port's Linkspeed: 6.0Gb/s 
Drive has flagged a S.M.A.R.T alert : No



Enclosure Device ID: 252
Slot Number: 5
Drive's position: DiskGroup: 1, Span: 0, Arm: 1
Enclosure position: N/A
Device Id: 5
WWN: 5000c5004f547bb5
Sequence Number: 2
Media Error Count: 0
Other Error Count: 0
Predictive Failure Count: 0
Last Predictive Failure Event Seq Number: 0
PD Type: SATA

Raw Size: 931.512 GB [0x74706db0 Sectors]
Non Coerced Size: 931.012 GB [0x74606db0 Sectors]
Coerced Size: 930.390 GB [0x744c8000 Sectors]
Sector Size:  512
Logical Sector Size:  512
Physical Sector Size:  512
Firmware state: Online, Spun Up
Commissioned Spare : No
Emergency Spare : No
Device Firmware Level: HPGD
Shield Counter: 0
Successful diagnostics completion on :  N/A
SAS Address(0): 0x4433221105000000
Connected Port Number: 5(path0) 
Inquiry Data: Z1N3AZR2            MB1000GCEHH                             HPGD    
FDE Capable: Not Capable
FDE Enable: Disable
Secured: Unsecured
Locked: Unlocked
Needs EKM Attention: No
Foreign State: None 
Device Speed: 6.0Gb/s 
Link Speed: 6.0Gb/s 
Media Type: Hard Disk Device
Drive:  Not Certified
Drive Temperature :34C (93.20 F)
PI Eligibility:  No 
Drive is formatted for PI information:  No
PI: No PI
Drive's NCQ setting : Enabled
Port-0 :
Port status: Active
Port's Linkspeed: 6.0Gb/s 
Drive has flagged a S.M.A.R.T alert : No




Exit Code: 0x00
_

編集1：以下を使用しています：

  • Percona Server 5.5.46-37.5
  • mydumper 0.6.2（MySQL 5.5.45-37.4に対してビルド）
  • カーネル3.13.0-68-generic＃111-Ubuntu SMP金11月6日18:17:06 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux

編集2：問題は関連していない：

  • myloader、mysqlクライアントには、複数のプロセスでインポートするときに同じ問題があります
  • サーバーのRAM（テスト済み）
  • RAIDコントローラのRAM（テスト済み）
  • マルチCPU、mysqldが1つのCPUにバインドされている場合、インポートも停止する

編集3：

  • MariaDB（mysqld Ver 5.5.46-MariaDB-1ubuntu0.14.04.2 for debian-linux-gnu on x86_64 ((Ubuntu))）にはこの問題がないようです

編集4：

この問題は、以下の4つの設定のいずれかが原因であると思われます。

  • _innodb_adaptive_flushing_method = keep_average_
  • _innodb_flush_neighbor_pages = none_
  • _log_warnings_suppress = 1592_
  • _query_response_time_stats = 1_

編集5：

問題の原因は次のとおりです：_innodb_adaptive_flushing_method = keep_average_、_innodb_adaptive_flushing_method = estimate_は安定して実行されます

編集6：

問題の原因は_innodb_adaptive_flushing_method = keep_average_ですが、Perconaサーバーでのみ、MariaDBは（同じ設定で）安定して実行されているようです

奇妙なことに、ダンプを他の（遅い）マシンでも問題なくインポートできます。主な違いは、バッファープールが小さく（<= 12G）、CPUの性能が低い（Intel（R）Xeon（R ）CPU E3-1246 v3 @ 3.50GHzまたはIntel（R）Core（TM）i7-3930K CPU @ 3.20GHz）、1つだけのSSD（またはソフトウェアRAID 1と2）。

この問題の原因が何なのか、私たちは本当に気になります。

mysqlinnodbimportpercona-serverssd
6
tersmitten

この問題の根本的な原因は、 http://bugs.mysql.com/bug.php?idの修正によって引き起こされた5.5.46/5.6.27でのOracle MySQLの回帰です。 = 76135 とPercona Serverはできるだけ早く修正をリリースします（追跡には https://bugs.launchpad.net/bugs/1519094 を使用します）。

編集：これに関するOracleのバグは https://bugs.mysql.com/bug.php?id=79185 です。

この設定の一部の値は他の値よりもバグを呼び出す可能性が高いですが、適応フラッシュ設定に問題はありません。 MariaDBは根本的な問題を以前に修正しているため、影響を受けません（ https://mariadb.atlassian.net/browse/MDEV-7026 ）。

全体の話はかなり技術的であり、データベース自体ではなく、低レベルのシステムプログラミングに関係しています。バグ76135は、InnoDB mutexプリミティブがARM64に対して正しくないことに関するものです。これは、ミューテックスのWordロード/ストアとそのミューテックスによって保護されているクリティカルセクションとの間の適切な順序を保証する適切なコンパイラバリアを使用することで修正されました。しかし、InnoDBミューテックスはロックワード以上のものであり、これらのバリアは弱くなり、他のミューテックスフィールドでロックワードアクセスを命令することができなくなりました。これは、MariaDBのKristian Nielsenによって最初に分析され、 https://lists.launchpad.net/maria-developers/msg07860.html で読むことができます。

3
Laurynas Biveinis

特定のチェックポイント/フラッシュ構成が停止する場合の既知の問題があります。以下はPercona 5.5のドキュメントからの引用です InnoDB I/Oスケーラビリティの向上 ：

通常、チェックポイントは現在の最も古いページ変更で受動的に行われます（これは「ファジーチェックポイント」と呼ばれます）。チェックポイントの経過時間が最大チェックポイントの経過時間（すべてのトランザクションログファイルの合計の長さによって決定される）に近づくと、InnoDBは多数のダーティブロックをフラッシュすることにより、チェックポイントの経過時間を最大値から遠ざけようとします。ただし、毎秒多くの更新があり、多くのブロックがほぼ同じ修正経過時間を持っている場合、大量のフラッシュによりストールが発生する可能性があります。

[...]

keep_average [2]：このメソッドは、他のメソッド（1.0秒）よりもはるかに短いループサイクル（0.1秒）を使用して、I/Oレートを一定に維持しようとします。 SSDカードで使用するように設計されています

keep_averageは、SSDディスクよりも高速なSSDカードで使用するように設計されています。あなたの場合、InnoDBは非常に短いサイクルを使用して戻ってきて、ダーティページをフラッシュします。次に、ドキュメントのとおり、タイムスタンプが非常に近いページが多すぎると、輻輳とストールが発生します。 FusionのようなSSDカードを使用していない限りIOこの設定は使用しないでください。

お役に立てれば。

3
Stoleg

これは通常の動作ではありません、同様のハードウェア（メモリは多いがディスクが悪い）でmydumperを定期的に使用していますが、その動作はまったくありません（データセットが30倍大きい場合でも）。あなたの特定の構成について私が気に入らないことがたくさんあります（私は新しいインストールに少なくとも5.6を使用します、QCacheを取り除き、WTではなくRAIDをライトバックに設定します、あなたの小さなストリップサイズ、インポートプロセスのバイナリログ、専用ハードウェアの場合はバッファプールとトランザクションログを増やし、非同期ioを使用しているときにioスレッドの読み取りを取得しますが、これらすべてはパフォーマンスを向上させるだけで、耐えられないほど悪い。

悲しいことに、インポートの瞬間に何が起こっているかを監視する必要がある（挿入率、ハンドラー、innodb統計、潜在的なOSハードウェア/ストールを監視する）こと以外は、コンソールが私の前になくてはならないことは多くありません。 RAIDがバッテリー学習モードになっていないことを確認してください。間違いが起こっています：DBの競合、ディスクの問題？ディスク速度のベンチマークを試してください。詳細な出力でmyloaderを実行します。 lsof、iotop、htop、vmstat、dmesgなどの通常のコマンドを使用してみてください。すべてが失敗した場合は、perfを使用してmysqldバイナリのプロファイルを作成し、サイクルを浪費しているものを確認します。たぶん、FlushLatTxC = 2が原因でファイルシステムのメモリをオーバーコミットしていますか？たぶんあなたは交換していて、あなたはそれを認識していませんでしたか？ mydumperとPSバージョンを確認してください。古いカーネルに存在するasync IOで問題が発生していますか？

申し訳ありませんが、ここからできることはあまりありません。

1
jynus

次のことを確認してください：foreign_key_checks = 0を設定します。 sql_log_bin = 0を設定します。 unique_checks = 0;を設定します。ここでは、バイナリログを無効にします。スロークエリログをオフにします。可能であれば、読み込み後にインデックスを作成します（データの読み込みにかかる時間は、インデックスの数、インデックスの種類、データタイプによって異なります。テキストフィールド（Blob）の読み込みには時間がかかります。スレッド数を減らします。

0
greenlitmysql