Uploaded image for project: 'Percona Server'
  1. Percona Server
  2. PS-4491

Memory corruption in myrocks::print_stats on SHOW ENGINE RocksDB STATUS

    Details

    • Type: Bug
    • Status: Done
    • Priority: High
    • Resolution: Cannot Reproduce
    • Affects Version/s: None
    • Fix Version/s: None
    • Component/s: MyRocks
    • Labels:

      Description

      This bug was hard to debug. I have one testcase which always reproduces a sig11 crash. Let me start with that one;

      # mysqld options required for replay: --plugin-load=TokuDB=ha_tokudb.so --plugin-load-add=RocksDB=ha_rocksdb.so --sql_mode=
      DROP DATABASE test;CREATE DATABASE test;USE test;
      SET @@character_set_client= 'cp1256';
      CREATE TABLE t1(c1 TINYINT UNSIGNED NOT NULL PRIMARY KEY, c2 TINYINT NULL, c3 SMALLINT, c4 MEDIUMINT , c5 INT, c6 INTEGER, c7 BIGINT);
      CREATE INDEX i4 ON t1(c4) COMMENT '��������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������';#NOERROR
      ALTER TABLE t1 ENGINE= RocksDB;
      SHOW ENGINE ROCKSDB STATUS;

      The 

      SET @@character_set_client= 'cp1256';

      is required in this testcase, but it is not in a more original/earlier testcase;

      # mysqld options required for replay: --plugin-load=TokuDB=ha_tokudb.so --plugin-load-add=RocksDB=ha_rocksdb.so --sql_mode=ONLY_FULL_GROUP_BY
      CREATE DATABASE test;
      USE test;
      INSTALL PLUGIN QUERY_RESPONSE_TIME SONAME 'time.so';
      CREATE TABLE t1(c1 DOUBLE,c2 CHAR (1),c3 INT(1),c4 VARCHAR(1) KEY,c5 DOUBLE UNIQUE KEY,c6 DEC(0,0) DEFAULT 3.141592);
      ALTER TABLE t1 ADD INDEX(c6)COMMENT '��������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������';
      alter TABLE t1 engine=RocksDB;
      SHOW ENGINE RocksDB STATUS;
      

      This testcase must have reproduced the issue (using pquery + reducer), but subsequently fails to reproduce in the CLI and, oddly, using a direct pquery call.

      Debugging further, I seem to have found an even more ideal testcase

      # mysqld options required for replay: --plugin-load=TokuDB=ha_tokudb.so --plugin-load-add=RocksDB=ha_rocksdb.so --sql_mode=
      DROP DATABASE test;CREATE DATABASE test;USE test;
      SET CHARACTER SET default;
      CREATE TABLE t1(c1 DOUBLE NULL, c2 VARCHAR(25) NOT NULL, c3 SMALLINT(4) NULL, c4 VARCHAR(15) NOT NULL PRIMARY KEY, c5 DOUBLE NOT NULL UNIQUE KEY,c6 DEC(10,8) NOT NULL DEFAULT 3.141592);
      ALTER TABLE t1 ADD INDEX (c6) COMMENT '��������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������';#NOERROR
      ALTER TABLE t1 ENGINE=RocksDB;
      SHOW ENGINE RocksDB STATUS;
      2018-05-17T03:53:23.255829Z 0 [Note] /sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/bin/mysqld: ready for connections.
      Version: '5.7.21-20-debug' socket: '/sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/socket.sock' port: 12467 MySQL Community Server (GPL)
      2018-05-17T03:53:25.945016Z 4 [Note] RocksDB: creating a column family ��������������������������������������������������������������������������������������������������������������������������������������������������������������������ï¿Â
      2018-05-17T03:53:25.945065Z 4 [Note] write_buffer_size=67108864
      2018-05-17T03:53:25.945073Z 4 [Note] target_file_size_base=67108864
      03:53:26 UTC - mysqld got signal 11 ;
      

      Furthermore, the stacks look really interesting (smashed);

      Core was generated by `/sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/bin/mysqld --no-defau'.
      Program terminated with signal SIGSEGV, Segmentation fault.
      #0 0x00007fe6f7ff972f in ?? () from /lib/x86_64-linux-gnu/libgcc_s.so.1
      [Current thread is 1 (Thread 0x7fe6f9986700 (LWP 4154))]
      (gdb) bt
      #0 0x00007fe6f7ff972f in ?? () from /lib/x86_64-linux-gnu/libgcc_s.so.1
      #1 0x00007fe6f7ffb3b8 in _Unwind_Backtrace () from /lib/x86_64-linux-gnu/libgcc_s.so.1
      #2 0x00007fe6f7d2a168 in __GI___backtrace (array=<optimized out>, size=<optimized out>) at ../sysdeps/x86_64/backtrace.c:111
      #3 0x00005635dd70bcfe in my_print_stacktrace (stack_bottom=0x7fe6f9985db8 "", thread_stack=262144)
      at /git/io_cache_dbg/mysys/stacktrace.c:226
      #4 0x00005635dcc92919 in handle_fatal_signal (sig=11) at /git/io_cache_dbg/sql/signal_handler.cc:150
      #5 <signal handler called>
      #6 0x00007fe6bb0c8c2c in rocksdb::InternalStats::DumpCFStats (this=0x7fe681011580, value=0x7fe6f9983de0)
      at /git/io_cache_dbg/storage/rocksdb/rocksdb/db/internal_stats.cc:1063
      #7 0x6c6576654c0c579b in ?? ()
      #8 0x656c694620202020 in ?? ()
      #9 0x657a695320202073 in ?? ()
      #10 0x6f63532020202020 in ?? ()
      #11 0x2864616552206572 in ?? ()
      #12 0x286e522020294247 in ?? ()
      #13 0x31706e5220294247 in ?? ()
      #14 0x6972572029424728 in ?? ()
      #15 0x5720294247286574 in ?? ()
      #16 0x202942472877656e in ?? ()
      #17 0x4247286465766f4d in ?? ()
      #18 0x20706d412d572029 in ?? ()
      #19 0x29732f424d286452 in ?? ()
      #20 0x732f424d28725720 in ?? ()
      #21 0x7328706d6f432029 in ?? ()
      #22 0x706d6f4320296365 in ?? ()
      #23 0x76412029746e6328 in ?? ()
      #24 0x4b20296365732867 in ?? ()
      #25 0x79654b206e497965 in ?? ()
      #26 0x2d2d2d0a706f7244 in ?? ()
      #27 0x2d2d2d2d2d2d2d2d in ?? ()
      #28 0x2d2d2d2d2d2d2d2d in ?? ()
      #29 0x2d2d2d2d2d2d2d2d in ?? ()
      #30 0x2d2d2d2d2d2d2d2d in ?? ()
      #31 0x2d2d2d2d2d2d2d2d in ?? ()
      #32 0x2d2d2d2d2d2d2d2d in ?? ()
      #33 0x2d2d2d2d2d2d2d2d in ?? ()
      #34 0x2d2d2d2d2d2d2d2d in ?? ()
      #35 0x2d2d2d2d2d2d2d2d in ?? ()
      #36 0x2d2d2d2d2d2d2d2d in ?? ()
      #37 0x2d2d2d2d2d2d2d2d in ?? ()
      #38 0x2d2d2d2d2d2d2d2d in ?? ()
      #39 0x2d2d2d2d2d2d2d2d in ?? ()
      #40 0x2d2d2d2d2d2d2d2d in ?? ()
      #41 0x2d2d2d2d2d2d2d2d in ?? ()
      #42 0x2d2d2d2d2d2d2d2d in ?? ()
      #43 0x2d2d2d2d2d2d2d2d in ?? ()
      #44 0x2d2d2d2d2d2d2d2d in ?? ()
      #45 0x0a2d2d2d2d2d2d2d in ?? ()
      #46 0x00007fe6f9983d00 in ?? ()
      #47 0x00007fe6f9983da0 in ?? ()
      #48 0x00007fe6810b06e0 in ?? ()
      #49 0x00007fe6ccfd8000 in ?? ()
      #50 0x00007fe6f99841a0 in ?? ()
      #51 0x00007fe6bae5bf96 in myrocks::rocksdb_show_status (hton=0xafc3bdc200000002, thd=0x0, stat_print=0x0, 
      stat_type=HA_ENGINE_STATUS) at /git/io_cache_dbg/storage/rocksdb/ha_rocksdb.cc:3493
      Backtrace stopped: previous frame inner to this frame (corrupt stack?)
      

      Finally, the original testcase produced something like this;

      Core was generated by `/sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/bin/mysqld --no-defau'.
      Program terminated with signal SIGSEGV, Segmentation fault.
      #0 __pthread_kill (threadid=<optimized out>, signo=11) at ../sysdeps/unix/sysv/linux/pthread_kill.c:57
      57	../sysdeps/unix/sysv/linux/pthread_kill.c: No such file or directory.
      [Current thread is 1 (Thread 0x7f8119498700 (LWP 12517))]
      (gdb) bt
      #0 __pthread_kill (threadid=<optimized out>, signo=11) at ../sysdeps/unix/sysv/linux/pthread_kill.c:57
      #1 0x000055fe496bada6 in my_write_core (sig=11) at /git/io_cache_dbg/mysys/stacktrace.c:249
      #2 0x000055fe48c41b0d in handle_fatal_signal (sig=11) at /git/io_cache_dbg/sql/signal_handler.cc:223
      #3 <signal handler called>
      #4 0x00007f8125128214 in std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >::size() const ()
      from /usr/lib/x86_64-linux-gnu/libstdc++.so.6
      #5 0x00007f80e6e5b33c in myrocks::print_stats (thd=0x7f810ade3000, type="CF_COMPACTION", 
      name=<error reading variable: Cannot access memory at address 0x6f63532020202028>, 
      status="\n** Compaction Stats [‚ ‚¢‚¤‚¦‚¨‚©‚«‚­‚¯‚±‚ ‚¢‚¤‚¦‚¨‚©‚«‚­‚¯‚±‚ ‚¢‚¤‚¦‚¨‚©‚«‚­‚¯‚±‚ ‚¢‚¤‚¦‚¨‚"..., stat_print=
      0x55fe48ce61a9 <stat_print(THD*, char const*, size_t, char const*, size_t, char const*, size_t)>)
      at /git/io_cache_dbg/storage/rocksdb/ha_rocksdb.cc:3145
      #6 0x00007f80e6e5bffb in myrocks::rocksdb_show_status (hton=0x7f811afc6f20, thd=0x7f810ade3000, 
      stat_print=0x55fe48ce61a9 <stat_print(THD*, char const*, size_t, char const*, size_t, char const*, size_t)>, 
      stat_type=HA_ENGINE_STATUS) at /git/io_cache_dbg/storage/rocksdb/ha_rocksdb.cc:3497
      #7 0x000055fe48ce652b in ha_show_status (thd=0x7f810ade3000, db_type=0x7f811afc6f20, stat=HA_ENGINE_STATUS)
      at /git/io_cache_dbg/sql/handler.cc:8096
      #8 0x000055fe4934ec12 in mysql_execute_command (thd=0x7f810ade3000, first_level=true) at /git/io_cache_dbg/sql/sql_parse.cc:3150
      #9 0x000055fe49356d0c in mysql_parse (thd=0x7f810ade3000, parser_state=0x7f8119497350) at /git/io_cache_dbg/sql/sql_parse.cc:5901
      #10 0x000055fe4934ac19 in dispatch_command (thd=0x7f810ade3000, com_data=0x7f8119497c70, command=COM_QUERY)
      at /git/io_cache_dbg/sql/sql_parse.cc:1490
      #11 0x000055fe493499f7 in do_command (thd=0x7f810ade3000) at /git/io_cache_dbg/sql/sql_parse.cc:1021
      #12 0x000055fe49464a26 in threadpool_process_request (thd=0x7f810ade3000) at /git/io_cache_dbg/sql/threadpool_common.cc:258
      #13 0x000055fe4947eec5 in handle_event (connection=0x7f80e5fef300) at /git/io_cache_dbg/sql/threadpool_unix.cc:1583
      #14 0x000055fe4947f078 in worker_main (param=0x55fe4abf1e00 <all_groups>) at /git/io_cache_dbg/sql/threadpool_unix.cc:1635
      #15 0x000055fe496e1e1f in pfs_spawn_thread (arg=0x7f80a84b0120) at /git/io_cache_dbg/storage/perfschema/pfs.cc:2190
      #16 0x00007f81253946db in start_thread (arg=0x7f8119498700) at pthread_create.c:463
      #17 0x00007f812477988f in clone () at ../sysdeps/unix/sysv/linux/x86_64/clone.S:95

      And a a bit different error log output too;

      2018-04-30T09:52:27.880045+10:00 8 [Note] Shutting down plugin 'keyring_vault'
      2018-04-30T09:52:27.887191+10:00 8 [Note] RocksDB: creating a column family â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>­â<80><9a>¯â<80><9a>±â<80><9a> â<80><9a>¢â<80><9a>¤â<80><9a>¦â<80><9a>¨â<80><9a>©â<80><9a>«â<80><9a>Â
      2018-04-30T09:52:27.887209+10:00 8 [Note] write_buffer_size=67108864
      2018-04-30T09:52:27.887218+10:00 8 [Note] target_file_size_base=67108864
      2018-04-30T09:52:27.915157+10:00 8 [Note] TokuDB: Auto scheduling background analysis for /dev/shm/118153/221/tmp/#sql2f90_8_57, delta_activity 1 is greater than 30 percent of 1 rows. - succeeded.
      23:52:28 UTC - mysqld got signal 11 ;
      ...
      stack_bottom = 7f8119497cc8 thread_stack 0x40000
      /sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/bin/mysqld(my_print_stacktrace+0x47)[0x55fe496bacfe]
      /sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/bin/mysqld(handle_fatal_signal+0x40e)[0x55fe48c41919]
      /lib/x86_64-linux-gnu/libpthread.so.0(+0x12890)[0x7f812539f890]
      /usr/lib/x86_64-linux-gnu/libstdc++.so.6(_ZNKSt7__cxx1112basic_stringIcSt11char_traitsIcESaIcEE4sizeEv+0x4)[0x7f8125128214]
      /sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/lib/mysql/plugin/ha_rocksdb.so(+0x8eb33c)[0x7f80e6e5b33c]
      /sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/lib/mysql/plugin/ha_rocksdb.so(+0x8ebffb)[0x7f80e6e5bffb]
      /sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/bin/mysqld(_Z14ha_show_statusP3THDP10handlerton12ha_stat_type+0x20f)[0x55fe48ce652b]
      /sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/bin/mysqld(_Z21mysql_execute_commandP3THDb+0x170b)[0x55fe4934ec12]
      /sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/bin/mysqld(_Z11mysql_parseP3THDP12Parser_state+0x762)[0x55fe49356d0c]
      /sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/bin/mysqld(_Z16dispatch_commandP3THDPK8COM_DATA19enum_server_command+0xcb6)[0x55fe4934ac19]
      /sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/bin/mysqld(_Z10do_commandP3THD+0x5a1)[0x55fe493499f7]
      /sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/bin/mysqld(_Z26threadpool_process_requestP3THD+0x79)[0x55fe49464a26]
      /sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/bin/mysqld(+0x1636ec5)[0x55fe4947eec5]
      /sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/bin/mysqld(+0x1637078)[0x55fe4947f078]
      /sda/PS280418-percona-server-5.7.21-20-linux-x86_64-debug/bin/mysqld(pfs_spawn_thread+0x173)[0x55fe496e1e1f]
      /lib/x86_64-linux-gnu/libpthread.so.0(+0x76db)[0x7f81253946db]
      /lib/x86_64-linux-gnu/libc.so.6(clone+0x3f)[0x7f812477988f]
      
      Trying to get some variables.
      Some pointers may be invalid and cause the dump to abort.
      Query (7f810ade9030): SHOW ENGINE RocksDB STATUS
      Connection ID (thread ID): 8
      Status: NOT_KILLED

      I note the shutdown message in there (from mysqld shutdown?) but even shutting down after running the second testcase above does not reproduce it. In either case, hope that testcase 2 and 3 + stacks are enough to debug. 

      Also interesting is this part of the stack;

      #5 0x00007f80e6e5b33c in myrocks::print_stats (thd=0x7f810ade3000, type="CF_COMPACTION", 
      name=<error reading variable: Cannot access memory at address 0x6f63532020202028>, 
      status="\n** Compaction Stats [‚ ‚¢‚¤‚¦‚¨‚©‚«‚­‚¯‚±‚ ‚¢‚¤‚¦‚¨‚©‚«‚­‚¯‚±‚ ‚¢‚¤‚¦‚¨‚©‚«‚­‚¯‚±‚ ‚¢‚¤‚¦‚¨‚"..., 
      stat_print=0x55fe48ce61a9 <stat_print(THD*, char const*, size_t, char const*, size_t, char const*, size_t)>)
      at /git/io_cache_dbg/storage/rocksdb/ha_rocksdb.cc:3145
      

      George Lorch Did not have a FB build handy atm. If this is upstream, would you lodge a more "dev-insightful" version of this bug upstream please?

        Smart Checklist

          Attachments

            Issue Links

              Activity

                People

                • Assignee:
                  Unassigned
                  Reporter:
                  roel.vandepaar Roel Van de Paar (Inactive)
                • Votes:
                  0 Vote for this issue
                  Watchers:
                  2 Start watching this issue

                  Dates

                  • Created:
                    Updated:
                    Resolved:

                    Time Tracking

                    Estimated:
                    Original Estimate - Not Specified
                    Not Specified
                    Remaining:
                    Remaining Estimate - 0 minutes
                    0m
                    Logged:
                    Time Spent - 52 minutes
                    52m