Status

Discussion thread
Vote threadhttps://lists.apache.org/thread/2homohytz76y2vmr0ksq0vnb2orwrvzn
JIRA

Unable to render Jira issues macro, execution error.

Release

Please keep the discussion on the mailing list rather than commenting on the wiki (wiki discussions get unwieldy fast).

Motivation

According to the docs, there may exist more than one attempt in a subtask, but there is no way to get the attempt history list in the REST API, users have no way to know if the subtask has failed before.

In the timeline page, the Web UI can only get and visualize the latest execution attempt of a subtask timeline, there is no way to get a failed attempt timeline in the current REST API. 

Proposed Changes

Add the attempt history

  • We can add the attempt history under the subtasks drawer on the job vertex page.
  • Display all attempt timeline.

Frontend Design

Add view attempt history menu in the subtask, when popup an attempts history modal when user clicking it.

When users click the vertex timeline, display all the subtask attempts timeline with subtaskId-host-attemptId.

REST API Design

   

  • ArchivedExecutionVertex adds method to return prior executions.
  • get prior execution attempt by ArchivedExecutionVertex.getPriorExecutionAttempts()
  • add SubtaskAllExecutionAttemptsDetailsHandler for failed attempt
  • url /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskIndex/attempts
  • response:

{
   "type" : "object",

  "id" : "urn:jsonschema:org:apache:flink:runtime:rest:messages:job:SubtaskAllExecutionAttemptsDetailsInfo",

  "properties" : {

      "attempts" : {

         "type" : "array",

        "items" : {

           "type" : "object",

           "id" : "urn:jsonschema:org:apache:flink:runtime:rest:messages:job:SubtaskExecutionAttemptDetailsInfo",

              "properties" : {

                  "subtask" : {

                      "type" : "integer"

                    },

                  "status" : {

                      "type" : "string",

                      "enum" : [ "CREATED", "SCHEDULED", "DEPLOYING", "RUNNING", "FINISHED", "CANCELING", "CANCELED", "FAILED", "RECONCILING" ]

                   },

                "attempt" : {

                    "type" : "integer"

                },

               "host" : {

                    "type" : "string"

                },

                "start-time" : {

                     "type" : "integer"

                },

                "end-time" : {

                    "type" : "integer"

               },

              "duration" : {

                  "type" : "integer"

               },

               "metrics" : {

                    "type" : "object",

                   "id" : "urn:jsonschema:org:apache:flink:runtime:rest:messages:job:metrics:IOMetricsInfo",

                   "properties" : {

                       "read-bytes" : {

                            "type" : "integer"

                       },

                      "read-bytes-complete" : {

                          "type" : "boolean"

                      },

                      "write-bytes" : {

                           "type" : "integer"

                      },

                      "write-bytes-complete" : {

                           "type" : "boolean"

                     },

                     "read-records" : {

                          "type" : "integer"

                      },

                      "read-records-complete" : {

                           "type" : "boolean"

                      },

                      "write-records" : {

                          "type" : "integer"

                      },

                     "write-records-complete" : {

                          "type" : "boolean"

                     }

                 }

             },

             "taskmanager-id" : {
                 "type" : "string"
             },
            "start_time" : {
                 "type" : "integer"
              }
           }
        }
     }
   }
}

  • In the 'subtasks' array we have objects of type SubtaskTimeInfo with only one added field 'attempt'.
  • add query parameter show-history, default value is false. If show-history is true, information for all attempts including
    previous ones will be returned
  • url: /jobs/:jobid/vertices/:vertexid/subtasktimes?show-history=true
  • response：

{

   "type" : "object",

   "id" : "urn:jsonschema:org:apache:flink:runtime:rest:messages:SubtasksTimesInfo",

   "properties" : {

       "id" : {

       "type" : "string"

     },

     "name" : {

         "type" : "string"

      },

      "now" : {

          "type" : "integer"

      },

      "subtasks" : {

          "type" : "array",

          "items" : {

             "type" : "object",

             "id" : "urn:jsonschema:org:apache:flink:runtime:rest:messages:SubtasksTimesInfo:SubtaskTimeInfo",

             "properties" : {

                "subtask" : {

                    "type" : "integer"

                 },

                 "host" : {

                     "type" : "string"

                  },

                  "duration" : {

                      "type" : "integer"

                    },

                    "timestamps" : {

                       "type" : "object",

                       "additionalProperties" : {

                           "type" : "integer"

                        }

                    },

                    "attempt": {

                         "type" : "integer"

                    }

          }

      }

    }

  }

}

Test Plan

Everything can be tested with unit tests.