math.html

<!DOCTYPE html><html><head><meta charset="utf-8"><meta name="layout" content="post">
<meta name="permalink" content="/math/">
<meta name="mathjax" content="true"><style>body {
  width: 45em;
  border: 1px solid #ddd;
  outline: 1300px solid #fff;
  margin: 16px auto;
}

body .markdown-body
{
  padding: 30px;
}

@font-face {
  font-family: fontawesome-mini;
  src: url(data:font/woff;charset=utf-8;base64,d09GRgABAAAAAAzUABAAAAAAFNgAAQAAAAAAAAAAAAAAAAAAAAAAAAAAAABGRlRNAAABbAAAABwAAAAcZMzaOEdERUYAAAGIAAAAHQAAACAAOQAET1MvMgAAAagAAAA+AAAAYHqhde9jbWFwAAAB6AAAAFIAAAFa4azkLWN2dCAAAAI8AAAAKAAAACgFgwioZnBnbQAAAmQAAAGxAAACZVO0L6dnYXNwAAAEGAAAAAgAAAAIAAAAEGdseWYAAAQgAAAFDgAACMz7eroHaGVhZAAACTAAAAAwAAAANgWEOEloaGVhAAAJYAAAAB0AAAAkDGEGa2htdHgAAAmAAAAAEwAAADBEgAAQbG9jYQAACZQAAAAaAAAAGgsICJBtYXhwAAAJsAAAACAAAAAgASgBD25hbWUAAAnQAAACZwAABOD4no+3cG9zdAAADDgAAABsAAAAmF+yXM9wcmVwAAAMpAAAAC4AAAAusPIrFAAAAAEAAAAAyYlvMQAAAADLVHQgAAAAAM/u9uZ4nGNgZGBg4ANiCQYQYGJgBEJuIGYB8xgABMMAPgAAAHicY2Bm42OcwMDKwMLSw2LMwMDQBqGZihmiwHycoKCyqJjB4YPDh4NsDP+BfNb3DIuAFCOSEgUGRgAKDgt4AAB4nGNgYGBmgGAZBkYGEAgB8hjBfBYGCyDNxcDBwMTA9MHhQ9SHrA8H//9nYACyQyFs/sP86/kX8HtB9UIBIxsDXICRCUgwMaACRoZhDwA3fxKSAAAAAAHyAHABJQB/AIEAdAFGAOsBIwC/ALgAxACGAGYAugBNACcA/wCIeJxdUbtOW0EQ3Q0PA4HE2CA52hSzmZDGe6EFCcTVjWJkO4XlCGk3cpGLcQEfQIFEDdqvGaChpEibBiEXSHxCPiESM2uIojQ7O7NzzpkzS8qRqnfpa89T5ySQwt0GzTb9Tki1swD3pOvrjYy0gwdabGb0ynX7/gsGm9GUO2oA5T1vKQ8ZTTuBWrSn/tH8Cob7/B/zOxi0NNP01DoJ6SEE5ptxS4PvGc26yw/6gtXhYjAwpJim4i4/plL+tzTnasuwtZHRvIMzEfnJNEBTa20Emv7UIdXzcRRLkMumsTaYmLL+JBPBhcl0VVO1zPjawV2ys+hggyrNgQfYw1Z5DB4ODyYU0rckyiwNEfZiq8QIEZMcCjnl3Mn+pED5SBLGvElKO+OGtQbGkdfAoDZPs/88m01tbx3C+FkcwXe/GUs6+MiG2hgRYjtiKYAJREJGVfmGGs+9LAbkUvvPQJSA5fGPf50ItO7YRDyXtXUOMVYIen7b3PLLirtWuc6LQndvqmqo0inN+17OvscDnh4Lw0FjwZvP+/5Kgfo8LK40aA4EQ3o3ev+iteqIq7wXPrIn07+xWgAAAAABAAH//wAPeJyFlctvG1UUh+/12DPN1B7P3JnYjj2Ox4/MuDHxJH5N3UdaEUQLqBIkfQQioJWQ6AMEQkIqsPGCPwA1otuWSmTBhjtps2ADWbJg3EpIXbGouqSbCraJw7kzNo2dRN1cnXN1ZvT7zuuiMEI7ncizyA0URofRBJpCdbQuIFShYY+GZRrxMDVtih5TwQPHtXDFFSIKoWIbuREBjLH27Ny4MsbVx+uOJThavebgVrNRLAiYx06rXsvhxLgWx9xpfHdrs/ekc2Pl2cpPCVEITQpwbj8VQhfXSq2m+Wxqaq2D73Kne5e3NjHqQNj3CRYlJlgUl/jRNP+2Gs2pNYRQiOnmUaQDqm30KqKiTTWPWjboxnTWpvgxjXo0KrtZXAHt7hwIz0YVcj88JnKlJKi3NPAwLyDwZudSmJSMMJFDYaOkaol6XtESx3Gt1VTytdZJ3DCLeaVhVnCBH1fycHTxFXwPX+l2e3d6H/TufGGmMTLTnbSJUdo00zuBswMO/nl3YLeL/wnu9/limCuD3vC54h5NBVz6Li414AI8Vx3iiosKcQXUbrvhFFiYb++HN4DaF4XzFW0fIN4XDWJ3a3XQoq9V8WiyRmdsatV9xUcHims1JloH0YUa090G3Tro3mC6c01f+YwCPquINr1PTaCP6rVTOOmf0GE2dBc7zWIhji3/5MchSuBHgDbU99RMWt3YUNMZMJmx92YP6NsHx/5/M1yvInpnkIOM3Z8fA3JQ2lW1RFC1KaBPDFXNAHYYvGy73aYZZZ3HifbeuiVZCpwA3oQBs0wGPYJbJfg60xrKEbKiNtTe1adwrpBRwlAuQ3q3VRaX0QmQ9a49BTSCuF1MLfQ6+tinOubRBZuWPNoMevGMT+V41KitO1is3D/tpMcq1JHZqDHGs8DoYGDkxJgKjHROeTCmhZvzPm9pod+ltKm4PN7Dyvvldlpsg8D+4AUJZ3F/JBstZz7cbFRxsaAGV6yX/dkcycWf8eS3QlQea+YLjdm3yrOnrhFpUyKVvFE4lpv4bO3Svx/6F/4xmiDu/RT5iI++lko18mY1oX+5UGKR6kmVjM/Zb76yfHtxy+h/SyQ0lLdpdKy/lWB6szatetQJ8nZ80A2Qt6ift6gJeavU3BO4gtxs/KCtNPVibCtYCWY3SIlSBPKXZALXiIR9oZeJ1AuMyxLpHIy/yO7vSiSE+kZvk0ihJ30HgHfzZtEMmvV58x6dtqns0XTAW7Vdm4HJ04OCp/crOO7rd9SGxQAE/mVA9xRN+kVSMRFF6S9JFGUtthkjBA5tFCWc2l4V43Ex9GmUP3SI37Jjmir9KqlaDJ4S4JB3vuM/jzyH1+8MuoZ+QGzfnvPoJb96cZlWjMcKLfgDwB7E634JTY+asjsPzS5CiVnEWY+KsrsIN5rn3mAPjqmQBxGjcGKB9f9ZxY3mYC2L85CJ2FXIxKKyHk+dg0FHbuEc7D5NzWUX32WxFcWNGRAbvwSx0RmIXVDuYySafluQBmzA/ssqJAMLnli+WIC90Gw4lm85wcp0qjArEDPJJV/sSx4P9ungTpgMw5gVC1XO4uULq0s3v1rqLi0vX/z65vlH50f8T/RHmSPTk5xxWBWOluMT6WiOy+tdvWxlV/XQb3o3c6Ssr+r6I708GsX9/nzp1tKFh0s3v7m4vAy/Hnb/KMOvc1wump6Il48K6mGDy02X9Yd65pa+nQIjk76lWxCkG8NBCP0HQS9IpAAAeJxjYGRgYGBhcCrq214Qz2/zlUGenQEEzr/77oug/zewFbB+AHI5GJhAogBwKQ0qeJxjYGRgYH3/P46BgZ0BBNgKGBgZUAEPAE/7At0AAAB4nGNngAB2IGYjhBsYBAAIYADVAAAAAAAAAAAAAFwAyAEeAaACCgKmAx4DggRmAAAAAQAAAAwAagAEAAAAAAACAAEAAgAWAAABAAChAAAAAHiclZI7bxQxFIWPd/JkUYQChEhIyAVKgdBMskm1QkKrRETpQiLRUczueB/K7HhlOxttg8LvoKPgP9DxFxANDR0tHRWi4NjrPIBEgh1p/dm+vufcawNYFWsQmP6e4jSyQB2fI9cwj++RE9wTjyPP4LYoI89iWbyLPIe6+Bh5Hs9rryMv4GbtW+RF3EhuRa7jbrIbeQkPkjdUETOLnL0Kip4FVvAhco1RXyMnSPEz8gzWxE7kWTwUp5HnsCLeR57HW/El8gJWa58iL+JO7UfkOh4l9yMv4UnyEtvQGGECgwF66MNBooF1bGCL1ELB/TYU+ZBRlvsKQ44Se6jQ4a7hef+fh72Crv25kp+8lNWGmeKoOI5jJLb1aGIGvb6TjfWNLdkqdFvJw4l1amjlXtXRZqRN7lSRylZZyhBqpVFWmTEXgWfUrpi/hZOQXdOd4rKuXOtEWT3k5IArPRzTUU5tHKjecZkTpnVbNOnt6jzN8240GD4xtikvZW56043rPMg/dS+dlOceXoR+WPbJ55Dsekq1lJpnypsMUsYOdCW30o103Ytu/lvh+5RWFLfBjm9/N8hJntPhvx92rnoE/kyHdGasGy754kw36vsVf/lFeBi+0COu+cfgQr42G3CRpeLoZ53gmfe3X6rcKt5oVxnptHR9JS8ehVUd5wvvahN2uqxOOpMXapibI5k7Zwbt4xBSaTfoKBufhAnO/uqNcfK8OTs0OQ6l7JIqFjDhYj5WcjevCnI/1DDiI8j4ndWb/5YzDZWh79yomWXeXj7Nnw70/2TIeFPTrlSh89k1ObOSRVZWZfgF0r/zJQB4nG2JUQuCQBCEd07TTg36fb2IyBaLd3vWaUh/vmSJnvpgmG8YcmS8X3Shf3R7QA4OBUocUKHGER5NNbOOEvwc1txnuWkTRb/aPjimJ5vXabI+3VfOiyS15UWvyezM2xiGOPyuMohOH8O8JiO4Af+FsAGNAEuwCFBYsQEBjlmxRgYrWCGwEFlLsBRSWCGwgFkdsAYrXFhZsBQrAAA=) format('woff');
}

@font-face {
  font-family: octicons-anchor;
  src: url(data:font/woff;charset=utf-8;base64,d09GRgABAAAAAAYcAA0AAAAACjQAAQAAAAAAAAAAAAAAAAAAAAAAAAAAAABGRlRNAAABMAAAABwAAAAca8vGTk9TLzIAAAFMAAAARAAAAFZG1VHVY21hcAAAAZAAAAA+AAABQgAP9AdjdnQgAAAB0AAAAAQAAAAEACICiGdhc3AAAAHUAAAACAAAAAj//wADZ2x5ZgAAAdwAAADRAAABEKyikaNoZWFkAAACsAAAAC0AAAA2AtXoA2hoZWEAAALgAAAAHAAAACQHngNFaG10eAAAAvwAAAAQAAAAEAwAACJsb2NhAAADDAAAAAoAAAAKALIAVG1heHAAAAMYAAAAHwAAACABEAB2bmFtZQAAAzgAAALBAAAFu3I9x/Nwb3N0AAAF/AAAAB0AAAAvaoFvbwAAAAEAAAAAzBdyYwAAAADP2IQvAAAAAM/bz7t4nGNgZGFgnMDAysDB1Ml0hoGBoR9CM75mMGLkYGBgYmBlZsAKAtJcUxgcPsR8iGF2+O/AEMPsznAYKMwIkgMA5REMOXicY2BgYGaAYBkGRgYQsAHyGMF8FgYFIM0ChED+h5j//yEk/3KoSgZGNgYYk4GRCUgwMaACRoZhDwCs7QgGAAAAIgKIAAAAAf//AAJ4nHWMMQrCQBBF/0zWrCCIKUQsTDCL2EXMohYGSSmorScInsRGL2DOYJe0Ntp7BK+gJ1BxF1stZvjz/v8DRghQzEc4kIgKwiAppcA9LtzKLSkdNhKFY3HF4lK69ExKslx7Xa+vPRVS43G98vG1DnkDMIBUgFN0MDXflU8tbaZOUkXUH0+U27RoRpOIyCKjbMCVejwypzJJG4jIwb43rfl6wbwanocrJm9XFYfskuVC5K/TPyczNU7b84CXcbxks1Un6H6tLH9vf2LRnn8Ax7A5WQAAAHicY2BkYGAA4teL1+yI57f5ysDNwgAC529f0kOmWRiYVgEpDgYmEA8AUzEKsQAAAHicY2BkYGB2+O/AEMPCAAJAkpEBFbAAADgKAe0EAAAiAAAAAAQAAAAEAAAAAAAAKgAqACoAiAAAeJxjYGRgYGBhsGFgYgABEMkFhAwM/xn0QAIAD6YBhwB4nI1Ty07cMBS9QwKlQapQW3VXySvEqDCZGbGaHULiIQ1FKgjWMxknMfLEke2A+IJu+wntrt/QbVf9gG75jK577Lg8K1qQPCfnnnt8fX1NRC/pmjrk/zprC+8D7tBy9DHgBXoWfQ44Av8t4Bj4Z8CLtBL9CniJluPXASf0Lm4CXqFX8Q84dOLnMB17N4c7tBo1AS/Qi+hTwBH4rwHHwN8DXqQ30XXAS7QaLwSc0Gn8NuAVWou/gFmnjLrEaEh9GmDdDGgL3B4JsrRPDU2hTOiMSuJUIdKQQayiAth69r6akSSFqIJuA19TrzCIaY8sIoxyrNIrL//pw7A2iMygkX5vDj+G+kuoLdX4GlGK/8Lnlz6/h9MpmoO9rafrz7ILXEHHaAx95s9lsI7AHNMBWEZHULnfAXwG9/ZqdzLI08iuwRloXE8kfhXYAvE23+23DU3t626rbs8/8adv+9DWknsHp3E17oCf+Z48rvEQNZ78paYM38qfk3v/u3l3u3GXN2Dmvmvpf1Srwk3pB/VSsp512bA/GG5i2WJ7wu430yQ5K3nFGiOqgtmSB5pJVSizwaacmUZzZhXLlZTq8qGGFY2YcSkqbth6aW1tRmlaCFs2016m5qn36SbJrqosG4uMV4aP2PHBmB3tjtmgN2izkGQyLWprekbIntJFing32a5rKWCN/SdSoga45EJykyQ7asZvHQ8PTm6cslIpwyeyjbVltNikc2HTR7YKh9LBl9DADC0U/jLcBZDKrMhUBfQBvXRzLtFtjU9eNHKin0x5InTqb8lNpfKv1s1xHzTXRqgKzek/mb7nB8RZTCDhGEX3kK/8Q75AmUM/eLkfA+0Hi908Kx4eNsMgudg5GLdRD7a84npi+YxNr5i5KIbW5izXas7cHXIMAau1OueZhfj+cOcP3P8MNIWLyYOBuxL6DRylJ4cAAAB4nGNgYoAALjDJyIAOWMCiTIxMLDmZedkABtIBygAAAA==) format('woff');
}

.markdown-body {
  font-family: sans-serif;
  -ms-text-size-adjust: 100%;
  -webkit-text-size-adjust: 100%;
  color: #333333;
  overflow: hidden;
  font-family: "Helvetica Neue", Helvetica, "Segoe UI", Arial, freesans, sans-serif;
  font-size: 16px;
  line-height: 1.6;
  word-wrap: break-word;
}

.markdown-body a {
  background: transparent;
}

.markdown-body a:active,
.markdown-body a:hover {
  outline: 0;
}

.markdown-body b,
.markdown-body strong {
  font-weight: bold;
}

.markdown-body mark {
  background: #ff0;
  color: #000;
  font-style: italic;
  font-weight: bold;
}

.markdown-body sub,
.markdown-body sup {
  font-size: 75%;
  line-height: 0;
  position: relative;
  vertical-align: baseline;
}
.markdown-body sup {
  top: -0.5em;
}
.markdown-body sub {
  bottom: -0.25em;
}

.markdown-body h1 {
  font-size: 2em;
  margin: 0.67em 0;
}

.markdown-body img {
  border: 0;
}

.markdown-body hr {
  -moz-box-sizing: content-box;
  box-sizing: content-box;
  height: 0;
}

.markdown-body pre {
  overflow: auto;
}

.markdown-body code,
.markdown-body kbd,
.markdown-body pre,
.markdown-body samp {
  font-family: monospace, monospace;
  font-size: 1em;
}

.markdown-body input {
  color: inherit;
  font: inherit;
  margin: 0;
}

.markdown-body html input[disabled] {
  cursor: default;
}

.markdown-body input {
  line-height: normal;
}

.markdown-body input[type="checkbox"] {
  box-sizing: border-box;
  padding: 0;
}

.markdown-body table {
  border-collapse: collapse;
  border-spacing: 0;
}

.markdown-body td,
.markdown-body th {
  padding: 0;
}

.markdown-body .codehilitetable {
  border: 0;
  border-spacing: 0;
}

.markdown-body .codehilitetable tr {
  border: 0;
}

.markdown-body .codehilitetable pre,
.markdown-body .codehilitetable div.codehilite {
  margin: 0;
}

.markdown-body .linenos,
.markdown-body .code,
.markdown-body .codehilitetable td {
  border: 0;
  padding: 0;
}

.markdown-body td:not(.linenos) .linenodiv {
  padding: 0 !important;
}

.markdown-body .code {
  width: 100%;
}

.markdown-body .linenos div pre,
.markdown-body .linenodiv pre,
.markdown-body .linenodiv {
  border: 0;
  -webkit-border-radius: 0;
  -moz-border-radius: 0;
  border-radius: 0;
  -webkit-border-top-left-radius: 3px;
  -webkit-border-bottom-left-radius: 3px;
  -moz-border-radius-topleft: 3px;
  -moz-border-radius-bottomleft: 3px;
  border-top-left-radius: 3px;
  border-bottom-left-radius: 3px;
}

.markdown-body .code div pre,
.markdown-body .code div {
  border: 0;
  -webkit-border-radius: 0;
  -moz-border-radius: 0;
  border-radius: 0;
  -webkit-border-top-right-radius: 3px;
  -webkit-border-bottom-right-radius: 3px;
  -moz-border-radius-topright: 3px;
  -moz-border-radius-bottomright: 3px;
  border-top-right-radius: 3px;
  border-bottom-right-radius: 3px;
}

.markdown-body * {
  -moz-box-sizing: border-box;
  box-sizing: border-box;
}

.markdown-body input {
  font: 13px Helvetica, arial, freesans, clean, sans-serif, "Segoe UI Emoji", "Segoe UI Symbol";
  line-height: 1.4;
}

.markdown-body a {
  color: #4183c4;
  text-decoration: none;
}

.markdown-body a:hover,
.markdown-body a:focus,
.markdown-body a:active {
  text-decoration: underline;
}

.markdown-body hr {
  height: 0;
  margin: 15px 0;
  overflow: hidden;
  background: transparent;
  border: 0;
  border-bottom: 1px solid #ddd;
}

.markdown-body hr:before,
.markdown-body hr:after {
  display: table;
  content: " ";
}

.markdown-body hr:after {
  clear: both;
}

.markdown-body h1,
.markdown-body h2,
.markdown-body h3,
.markdown-body h4,
.markdown-body h5,
.markdown-body h6 {
  margin-top: 15px;
  margin-bottom: 15px;
  line-height: 1.1;
}

.markdown-body h1 {
  font-size: 30px;
}

.markdown-body h2 {
  font-size: 21px;
}

.markdown-body h3 {
  font-size: 16px;
}

.markdown-body h4 {
  font-size: 14px;
}

.markdown-body h5 {
  font-size: 12px;
}

.markdown-body h6 {
  font-size: 11px;
}

.markdown-body blockquote {
  margin: 0;
}

.markdown-body ul,
.markdown-body ol {
  padding: 0;
  margin-top: 0;
  margin-bottom: 0;
}

.markdown-body ol ol,
.markdown-body ul ol {
  list-style-type: lower-roman;
}

.markdown-body ul ul ol,
.markdown-body ul ol ol,
.markdown-body ol ul ol,
.markdown-body ol ol ol {
  list-style-type: lower-alpha;
}

.markdown-body dd {
  margin-left: 0;
}

.markdown-body code,
.markdown-body pre,
.markdown-body samp {
  font-family: Consolas, "Liberation Mono", Menlo, Courier, monospace;
  font-size: 12px;
}

.markdown-body pre {
  margin-top: 0;
  margin-bottom: 0;
}

.markdown-body kbd {
  background-color: #e7e7e7;
  background-image: -moz-linear-gradient(#fefefe, #e7e7e7);
  background-image: -webkit-linear-gradient(#fefefe, #e7e7e7);
  background-image: linear-gradient(#fefefe, #e7e7e7);
  background-repeat: repeat-x;
  border-radius: 2px;
  border: 1px solid #cfcfcf;
  color: #000;
  padding: 3px 5px;
  line-height: 10px;
  font: 11px Consolas, "Liberation Mono", Menlo, Courier, monospace;
  display: inline-block;
}

.markdown-body>*:first-child {
  margin-top: 0 !important;
}

.markdown-body>*:last-child {
  margin-bottom: 0 !important;
}

.markdown-body .headeranchor-link {
  position: absolute;
  top: 0;
  bottom: 0;
  left: 0;
  display: block;
  padding-right: 6px;
  padding-left: 30px;
  margin-left: -30px;
}

.markdown-body .headeranchor-link:focus {
  outline: none;
}

.markdown-body h1,
.markdown-body h2,
.markdown-body h3,
.markdown-body h4,
.markdown-body h5,
.markdown-body h6 {
  position: relative;
  margin-top: 1em;
  margin-bottom: 16px;
  font-weight: bold;
  line-height: 1.4;
}

.markdown-body h1 .headeranchor,
.markdown-body h2 .headeranchor,
.markdown-body h3 .headeranchor,
.markdown-body h4 .headeranchor,
.markdown-body h5 .headeranchor,
.markdown-body h6 .headeranchor {
  display: none;
  color: #000;
  vertical-align: middle;
}

.markdown-body h1:hover .headeranchor-link,
.markdown-body h2:hover .headeranchor-link,
.markdown-body h3:hover .headeranchor-link,
.markdown-body h4:hover .headeranchor-link,
.markdown-body h5:hover .headeranchor-link,
.markdown-body h6:hover .headeranchor-link {
  height: 1em;
  padding-left: 8px;
  margin-left: -30px;
  line-height: 1;
  text-decoration: none;
}

.markdown-body h1:hover .headeranchor-link .headeranchor,
.markdown-body h2:hover .headeranchor-link .headeranchor,
.markdown-body h3:hover .headeranchor-link .headeranchor,
.markdown-body h4:hover .headeranchor-link .headeranchor,
.markdown-body h5:hover .headeranchor-link .headeranchor,
.markdown-body h6:hover .headeranchor-link .headeranchor {
  display: inline-block;
}

.markdown-body h1 {
  padding-bottom: 0.3em;
  font-size: 2.25em;
  line-height: 1.2;
  border-bottom: 1px solid #eee;
}

.markdown-body h2 {
  padding-bottom: 0.3em;
  font-size: 1.75em;
  line-height: 1.225;
  border-bottom: 1px solid #eee;
}

.markdown-body h3 {
  font-size: 1.5em;
  line-height: 1.43;
}

.markdown-body h4 {
  font-size: 1.25em;
}

.markdown-body h5 {
  font-size: 1em;
}

.markdown-body h6 {
  font-size: 1em;
  color: #777;
}

.markdown-body p,
.markdown-body blockquote,
.markdown-body ul,
.markdown-body ol,
.markdown-body dl,
.markdown-body table,
.markdown-body pre,
.markdown-body .admonition {
  margin-top: 0;
  margin-bottom: 16px;
}

.markdown-body hr {
  height: 4px;
  padding: 0;
  margin: 16px 0;
  background-color: #e7e7e7;
  border: 0 none;
}

.markdown-body ul,
.markdown-body ol {
  padding-left: 2em;
}

.markdown-body ul ul,
.markdown-body ul ol,
.markdown-body ol ol,
.markdown-body ol ul {
  margin-top: 0;
  margin-bottom: 0;
}

.markdown-body li>p {
  margin-top: 16px;
}

.markdown-body dl {
  padding: 0;
}

.markdown-body dl dt {
  padding: 0;
  margin-top: 16px;
  font-size: 1em;
  font-style: italic;
  font-weight: bold;
}

.markdown-body dl dd {
  padding: 0 16px;
  margin-bottom: 16px;
}

.markdown-body blockquote {
  padding: 0 15px;
  color: #777;
  border-left: 4px solid #ddd;
}

.markdown-body blockquote>:first-child {
  margin-top: 0;
}

.markdown-body blockquote>:last-child {
  margin-bottom: 0;
}

.markdown-body table {
  display: block;
  width: 100%;
  overflow: auto;
  word-break: normal;
  word-break: keep-all;
}

.markdown-body table th {
  font-weight: bold;
}

.markdown-body table th,
.markdown-body table td {
  padding: 6px 13px;
  border: 1px solid #ddd;
}

.markdown-body table tr {
  background-color: #fff;
  border-top: 1px solid #ccc;
}

.markdown-body table tr:nth-child(2n) {
  background-color: #f8f8f8;
}

.markdown-body img {
  max-width: 100%;
  -moz-box-sizing: border-box;
  box-sizing: border-box;
}

.markdown-body code,
.markdown-body samp {
  padding: 0;
  padding-top: 0.2em;
  padding-bottom: 0.2em;
  margin: 0;
  font-size: 85%;
  background-color: rgba(0,0,0,0.04);
  border-radius: 3px;
}

.markdown-body code:before,
.markdown-body code:after {
  letter-spacing: -0.2em;
  content: "\00a0";
}

.markdown-body pre>code {
  padding: 0;
  margin: 0;
  font-size: 100%;
  word-break: normal;
  white-space: pre;
  background: transparent;
  border: 0;
}

.markdown-body .codehilite {
  margin-bottom: 16px;
}

.markdown-body .codehilite pre,
.markdown-body pre {
  padding: 16px;
  overflow: auto;
  font-size: 85%;
  line-height: 1.45;
  background-color: #f7f7f7;
  border-radius: 3px;
}

.markdown-body .codehilite pre {
  margin-bottom: 0;
  word-break: normal;
}

.markdown-body pre {
  word-wrap: normal;
}

.markdown-body pre code {
  display: inline;
  max-width: initial;
  padding: 0;
  margin: 0;
  overflow: initial;
  line-height: inherit;
  word-wrap: normal;
  background-color: transparent;
  border: 0;
}

.markdown-body pre code:before,
.markdown-body pre code:after {
  content: normal;
}

/* Admonition */
.markdown-body .admonition {
  -webkit-border-radius: 3px;
  -moz-border-radius: 3px;
  position: relative;
  border-radius: 3px;
  border: 1px solid #e0e0e0;
  border-left: 6px solid #333;
  padding: 10px 10px 10px 30px;
}

.markdown-body .admonition table {
  color: #333;
}

.markdown-body .admonition p {
  padding: 0;
}

.markdown-body .admonition-title {
  font-weight: bold;
  margin: 0;
}

.markdown-body .admonition>.admonition-title {
  color: #333;
}

.markdown-body .attention>.admonition-title {
  color: #a6d796;
}

.markdown-body .caution>.admonition-title {
  color: #d7a796;
}

.markdown-body .hint>.admonition-title {
  color: #96c6d7;
}

.markdown-body .danger>.admonition-title {
  color: #c25f77;
}

.markdown-body .question>.admonition-title {
  color: #96a6d7;
}

.markdown-body .note>.admonition-title {
  color: #d7c896;
}

.markdown-body .admonition:before,
.markdown-body .attention:before,
.markdown-body .caution:before,
.markdown-body .hint:before,
.markdown-body .danger:before,
.markdown-body .question:before,
.markdown-body .note:before {
  font: normal normal 16px fontawesome-mini;
  -moz-osx-font-smoothing: grayscale;
  -webkit-user-select: none;
  -moz-user-select: none;
  -ms-user-select: none;
  user-select: none;
  line-height: 1.5;
  color: #333;
  position: absolute;
  left: 0;
  top: 0;
  padding-top: 10px;
  padding-left: 10px;
}

.markdown-body .admonition:before {
  content: "\f056\00a0";
  color: 333;
}

.markdown-body .attention:before {
  content: "\f058\00a0";
  color: #a6d796;
}

.markdown-body .caution:before {
  content: "\f06a\00a0";
  color: #d7a796;
}

.markdown-body .hint:before {
  content: "\f05a\00a0";
  color: #96c6d7;
}

.markdown-body .danger:before {
  content: "\f057\00a0";
  color: #c25f77;
}

.markdown-body .question:before {
  content: "\f059\00a0";
  color: #96a6d7;
}

.markdown-body .note:before {
  content: "\f040\00a0";
  color: #d7c896;
}

.markdown-body .admonition::after {
  content: normal;
}

.markdown-body .attention {
  border-left: 6px solid #a6d796;
}

.markdown-body .caution {
  border-left: 6px solid #d7a796;
}

.markdown-body .hint {
  border-left: 6px solid #96c6d7;
}

.markdown-body .danger {
  border-left: 6px solid #c25f77;
}

.markdown-body .question {
  border-left: 6px solid #96a6d7;
}

.markdown-body .note {
  border-left: 6px solid #d7c896;
}

.markdown-body .admonition>*:first-child {
  margin-top: 0 !important;
}

.markdown-body .admonition>*:last-child {
  margin-bottom: 0 !important;
}

/* progress bar*/
.markdown-body .progress {
  display: block;
  width: 300px;
  margin: 10px 0;
  height: 24px;
  -webkit-border-radius: 3px;
  -moz-border-radius: 3px;
  border-radius: 3px;
  background-color: #ededed;
  position: relative;
  box-shadow: inset -1px 1px 3px rgba(0, 0, 0, .1);
}

.markdown-body .progress-label {
  position: absolute;
  text-align: center;
  font-weight: bold;
  width: 100%; margin: 0;
  line-height: 24px;
  color: #333;
  text-shadow: 1px 1px 0 #fefefe, -1px -1px 0 #fefefe, -1px 1px 0 #fefefe, 1px -1px 0 #fefefe, 0 1px 0 #fefefe, 0 -1px 0 #fefefe, 1px 0 0 #fefefe, -1px 0 0 #fefefe, 1px 1px 2px #000;
  -webkit-font-smoothing: antialiased !important;
  white-space: nowrap;
  overflow: hidden;
}

.markdown-body .progress-bar {
  height: 24px;
  float: left;
  -webkit-border-radius: 3px;
  -moz-border-radius: 3px;
  border-radius: 3px;
  background-color: #96c6d7;
  box-shadow: inset 0 1px 0 rgba(255, 255, 255, .5), inset 0 -1px 0 rgba(0, 0, 0, .1);
  background-size: 30px 30px;
  background-image: -webkit-linear-gradient(
    135deg, rgba(255, 255, 255, .4) 27%,
    transparent 27%,
    transparent 52%, rgba(255, 255, 255, .4) 52%,
    rgba(255, 255, 255, .4) 77%,
    transparent 77%, transparent
  );
  background-image: -moz-linear-gradient(
    135deg,
    rgba(255, 255, 255, .4) 27%, transparent 27%,
    transparent 52%, rgba(255, 255, 255, .4) 52%,
    rgba(255, 255, 255, .4) 77%, transparent 77%,
    transparent
  );
  background-image: -ms-linear-gradient(
    135deg,
    rgba(255, 255, 255, .4) 27%, transparent 27%,
    transparent 52%, rgba(255, 255, 255, .4) 52%,
    rgba(255, 255, 255, .4) 77%, transparent 77%,
    transparent
  );
  background-image: -o-linear-gradient(
    135deg,
    rgba(255, 255, 255, .4) 27%, transparent 27%,
    transparent 52%, rgba(255, 255, 255, .4) 52%,
    rgba(255, 255, 255, .4) 77%, transparent 77%,
    transparent
  );
  background-image: linear-gradient(
    135deg,
    rgba(255, 255, 255, .4) 27%, transparent 27%,
    transparent 52%, rgba(255, 255, 255, .4) 52%,
    rgba(255, 255, 255, .4) 77%, transparent 77%,
    transparent
  );
}

.markdown-body .progress-100plus .progress-bar {
  background-color: #a6d796;
}

.markdown-body .progress-80plus .progress-bar {
  background-color: #c6d796;
}

.markdown-body .progress-60plus .progress-bar {
  background-color: #d7c896;
}

.markdown-body .progress-40plus .progress-bar {
  background-color: #d7a796;
}

.markdown-body .progress-20plus .progress-bar {
  background-color: #d796a6;
}

.markdown-body .progress-0plus .progress-bar {
  background-color: #c25f77;
}

.markdown-body .candystripe-animate .progress-bar{
  -webkit-animation: animate-stripes 3s linear infinite;
  -moz-animation: animate-stripes 3s linear infinite;
  animation: animate-stripes 3s linear infinite;
}

@-webkit-keyframes animate-stripes {
  0% {
    background-position: 0 0;
  }

  100% {
    background-position: 60px 0;
  }
}

@-moz-keyframes animate-stripes {
  0% {
    background-position: 0 0;
  }

  100% {
    background-position: 60px 0;
  }
}

@keyframes animate-stripes {
  0% {
    background-position: 0 0;
  }

  100% {
    background-position: 60px 0;
  }
}

.markdown-body .gloss .progress-bar {
  box-shadow:
    inset 0 4px 12px rgba(255, 255, 255, .7),
    inset 0 -12px 0 rgba(0, 0, 0, .05);
}

/* Multimarkdown Critic Blocks */
.markdown-body .critic_mark {
  background: #ff0;
}

.markdown-body .critic_delete {
  color: #c82829;
  text-decoration: line-through;
}

.markdown-body .critic_insert {
  color: #718c00 ;
  text-decoration: underline;
}

.markdown-body .critic_comment {
  color: #8e908c;
  font-style: italic;
}

.markdown-body .headeranchor {
  font: normal normal 16px octicons-anchor;
  line-height: 1;
  display: inline-block;
  text-decoration: none;
  -webkit-font-smoothing: antialiased;
  -moz-osx-font-smoothing: grayscale;
  -webkit-user-select: none;
  -moz-user-select: none;
  -ms-user-select: none;
  user-select: none;
}

.headeranchor:before {
  content: '\f05c';
}

.markdown-body .task-list-item {
  list-style-type: none;
}

.markdown-body .task-list-item+.task-list-item {
  margin-top: 3px;
}

.markdown-body .task-list-item input {
  margin: 0 4px 0.25em -20px;
  vertical-align: middle;
}

/* Media */
@media only screen and (min-width: 480px) {
  .markdown-body {
    font-size:14px;
  }
}

@media only screen and (min-width: 768px) {
  .markdown-body {
    font-size:16px;
  }
}

@media print {
  .markdown-body * {
    background: transparent !important;
    color: black !important;
    filter:none !important;
    -ms-filter: none !important;
  }

  .markdown-body {
    font-size:12pt;
    max-width:100%;
    outline:none;
    border: 0;
  }

  .markdown-body a,
  .markdown-body a:visited {
    text-decoration: underline;
  }

  .markdown-body .headeranchor-link {
    display: none;
  }

  .markdown-body a[href]:after {
    content: " (" attr(href) ")";
  }

  .markdown-body abbr[title]:after {
    content: " (" attr(title) ")";
  }

  .markdown-body .ir a:after,
  .markdown-body a[href^="javascript:"]:after,
  .markdown-body a[href^="#"]:after {
    content: "";
  }

  .markdown-body pre {
    white-space: pre;
    white-space: pre-wrap;
    word-wrap: break-word;
  }

  .markdown-body pre,
  .markdown-body blockquote {
    border: 1px solid #999;
    padding-right: 1em;
    page-break-inside: avoid;
  }

  .markdown-body .progress,
  .markdown-body .progress-bar {
    -moz-box-shadow: none;
    -webkit-box-shadow: none;
    box-shadow: none;
  }

  .markdown-body .progress {
    border: 1px solid #ddd;
  }

  .markdown-body .progress-bar {
    height: 22px;
    border-right: 1px solid #ddd;
  }

  .markdown-body tr,
  .markdown-body img {
    page-break-inside: avoid;
  }

  .markdown-body img {
    max-width: 100% !important;
  }

  .markdown-body p,
  .markdown-body h2,
  .markdown-body h3 {
    orphans: 3;
    widows: 3;
  }

  .markdown-body h2,
  .markdown-body h3 {
    page-break-after: avoid;
  }
}
</style><title>Math</title></head><body><article class="markdown-body"><!-- tags: General -->

<hr />
<p>Một số kiến thức về Đại Số Tuyến Tính, Xác Suất Thống Kê, Toán Tối Ưu cần thiết cho Machine Learning.</p>
<p>Bạn có thể download bản pdf <a href="https://github.com/tiepvupsu/tiepvupsu.github.io/blob/master/assets/latex/appendix.pdf">tại đây</a>.</p>
<p>(<em>đang trong thời gian xây dựng, cập nhật theo bài</em>)</p>
<p><strong>Trong trang này:</strong><br />
<!-- MarkdownTOC --></p>
<ul>
<li><a href="#-luu-y-ve-ky-hieu">1. Lưu ý về ký hiệu</a></li>
<li><a href="#-norms-chuan">2. Norms (chuẩn)</a><ul>
<li><a href="#dinh-nghia">Định nghĩa</a></li>
<li><a href="#mot-so-chuan-thuong-dung">Một số chuẩn thường dùng</a></li>
<li><a href="#chuan-cua-ma-tran">Chuẩn của ma trận</a></li>
</ul>
</li>
<li><a href="#-dao-ham-cua-ham-nhieu-bien">3. Đạo hàm của hàm nhiều biến</a><ul>
<li><a href="#-ham-cho-gia-tri-la-mot-so-vo-huong">3.1. Hàm cho giá trị là một số vô hướng</a></li>
<li><a href="#-ham-cho-gia-tri-la-mot-vector">3.2. Hàm cho giá trị là một vector</a></li>
<li><a href="#-hai-tinh-chat-quan-trong">3.3. Hai tính chất quan trọng</a><ul>
<li><a href="#product-rules">Product rules</a></li>
<li><a href="#chain-rules">Chain rules</a></li>
</ul>
</li>
<li><a href="#-dao-ham-cua-cac-ham-so-thuong-gap">3.4. Đạo hàm của các hàm số thường gặp</a><ul>
<li><a href="#\f\mathbfx--\mathbfa^t\mathbfx\">\(f(\mathbf{x}) = \mathbf{a}^T\mathbf{x}\)</a></li>
<li><a href="#\f\mathbfx--\mathbfax\">\(f(\mathbf{x}) = \mathbf{Ax}\)</a></li>
<li><a href="#\f\mathbfx--\mathbfx^t\mathbfa-\mathbfx\">\(f(\mathbf{x}) = \mathbf{x}^T\mathbf{A} \mathbf{x}\)</a></li>
<li><a href="#\f\mathbfx--\|\|\mathbfax---\mathbfb\|\|^-\">\(f(\mathbf{x}) = \|\|\mathbf{Ax} - \mathbf{b}\|\|_2^2 \)</a></li>
<li><a href="#\f\mathbfx--\mathbfa^t\mathbfx\mathbfx^t\mathbfb\">\(f(\mathbf{x}) = \mathbf{a}^T\mathbf{x}\mathbf{x}^T\mathbf{b}\)</a></li>
</ul>
</li>
<li><a href="#-bang-cac-dao-ham-thuong-gap">3.5. Bảng các đạo hàm thường gặp</a><ul>
<li><a href="#cho-vector">Cho vector</a></li>
<li><a href="#cho-ma-tran">Cho ma trận</a></li>
</ul>
</li>
<li><a href="#-tai-lieu-tham-khao">3.6. Tài liệu tham khảo</a></li>
</ul>
</li>
</ul>
<!-- /MarkdownTOC -->

<!-- ========================== New Heading ==================== -->

<p><a name="-luu-y-ve-ky-hieu"></a></p>
<h2 id="1-luu-y-ve-ky-hieu"><a name="user-content-1-luu-y-ve-ky-hieu" href="#1-luu-y-ve-ky-hieu" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>1. Lưu ý về ký hiệu</h2>
<p>Trong các bài viết của tôi, các số vô hướng được biểu diễn bởi các chữ cái viết ở dạng không in đậm, có thể viết hoa, ví dụ \(x_1, N, y, k\). Các vector được biểu diễn bằng các chữ cái thường in đậm, ví dụ \(\mathbf{y}, \mathbf{x}_1 \). Nếu không giải thích gì thêm, các vector được mặc định hiểu là các vector cột. Các ma trận được biểu diễn bởi các chữ viết hoa in đậm, ví dụ \(\mathbf{X, Y, W} \).</p>
<p>Đối với vector, \(\mathbf{x} = [x_1, x_2, \dots, x_n]\) được hiểu là một vector hàng. Trong khi \(\mathbf{x} = [x_1; x_2; \dots; x_n] \) được hiểu là vector cột. Chú ý sự khác nhau giữa dầu phẩy (\(,\)) và dấu chấm phẩy (\(;\)). Đây chính là ký hiệu mà được Matlab sử dụng.</p>
<p>Tương tự, trong ma trận, \(\mathbf{X} = [\mathbf{x}_1, \mathbf{x}_2, \dots, \mathbf{x}_n]\) được hiểu là các vector \(\mathbf{x}_j\) được đặt cạnh nhau theo thứ tự từ trái qua phải để tạo ra ma trận \(\mathbf{X}\). Trong khi \(\mathbf{X} = [\mathbf{x}_1; \mathbf{x}_2; \dots; \mathbf{x}_m]\) được hiểu là các vector \(\mathbf{x}_i\) được đặt chồng lên nhau theo thứ tự từ trên xuống dưới dể tạo ra ma trận \(\mathbf{X}\). Các vector được ngầm hiểu là có kích thước phù hợp để có thể xếp cạnh hoặc xếp chồng lên nhau.</p>
<p>Cho một ma trận \(\mathbf{W}\), nếu không giải thích gì thêm, chúng ta hiểu rằng \(\mathbf{w}_i\) là <strong>vector cột</strong> thứ \(i\) của ma trận đó. Chú ý sự tương ứng giữa ký tự viết hoa và viết thường.</p>
<!-- ========================== New Heading ==================== -->

<p><a name="-norms-chuan"></a></p>
<h2 id="2-norms-chuan"><a name="user-content-2-norms-chuan" href="#2-norms-chuan" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>2. Norms (chuẩn)</h2>
<p>Trong không gian một chiều, việc đo khoảng cách giữa hai điểm đã rất quen thuộc: lấy trị tuyệt đối của hiệu giữa hai giá trị đó. Trong không gian hai chiều, tức mặt phẳng, chúng ta thường dùng khoảng cách Eclid để đo khoảng cách giữa hai điểm. Khoảng cách này chính là cái chúng ta thường nói bằng ngôn ngữ thông thường là <em>đường chim bay</em>. Đôi khi, để đi từ một điểm này tới một điểm kia, con người chúng ta không thể đi bằng đường chim bay được mà còn phụ thuộc vào việc đường đi nối giữa hai điểm có dạng như thế nào nữa. </p>
<p>Việc đo khoảng cách giữa hai điểm dữ liệu nhiều chiều, tức hai vector, là rất cần thiết trong Machine Learning. Chúng ta cần đánh giá xem điểm nào là điểm gần nhất của một điểm khác; chúng ta cũng cần đánh giá xem độ chính xác của việc ước lượng; và trong rất nhiều ví dụ khác nữa. </p>
<p>Và đó chính là lý do mà khái niệm norm (chuẩn) ra đời. Có nhiều loại norm khác nhau mà các bạn sẽ thấy ở dưới đây: </p>
<p>Để xác định khoảng cách giữa hai vector \(\mathbf{y}\) và \(\mathbf{z}\), người ta thường áp dụng một hàm số lên vector hiệu \(\mathbf{x = y - z}\). Một hàm số được dùng để đo các vector cần có một vài tính chất đặc biệt. <br />
<!-- ========================== New Heading ==================== --><br />
<a name="dinh-nghia"></a></p>
<h3 id="inh-nghia"><a name="user-content-inh-nghia" href="#inh-nghia" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>Định nghĩa</h3>
<p>Một hàm số \(f() \) ánh xạ một điểm \(\mathbf{x}\) từ không gian \(n\) chiều sang tập số thực một chiều được gọi là norm nếu nó thỏa mãn ba điều kiện sau đây:</p>
<ol>
<li>\(f(\mathbf{x}) \geq 0\). Dấu bằng xảy ra \(\Leftrightarrow \mathbf{x = 0} \).</li>
<li>\(f(\alpha \mathbf{x}) = \|\alpha\| f(\mathbf{x}), ~~~\forall \alpha \in \mathbb{R}\ \)</li>
<li>\(f(\mathbf{x}_1) + f(\mathbf{x}_2) \geq f(\mathbf{x}_1 + \mathbf{x}_2), ~~\forall \mathbf{x}_1, \mathbf{x}_2 \in \mathbf{R}^n\)</li>
</ol>
<p><strong>Điều kiện thứ nhất</strong> là dễ hiểu vì khoảng cách không thể là một số âm. Hơn nữa, khoảng cách giữa hai điểm \(\mathbf{y}\) và \(\mathbf{z}\) bằng 0 nếu và chỉ nếu hai điểm nó trùng nhau, tức \(\mathbf{x = y - z = 0} \).</p>
<p><strong>Điều kiện thứ hai</strong> cũng có thể được lý giải như sau. Nếu ba điểm \(\mathbf{y, v}\) và \(\mathbf{z}\) thẳng hàng, hơn nữa \(\mathbf{v - y} = \alpha (\mathbf{v - z}) \) thì khoảng cách giữa \(\mathbf{v}\) và \(\mathbf{y}\) sẽ gấp \( \|\alpha \|\) lần khoảng cách giữa \(\mathbf{v}\) và \(\mathbf{z}\).</p>
<p><strong>Điều kiện thứ ba</strong> chính là bất đẳng thức tam giác nếu ta coi \(\mathbf{x}_1 = \mathbf{ w - y}, \mathbf{x}_2 = \mathbf{z - w} \) với \(\mathbf{w}\) là một điểm bất kỳ trong cùng không gian.</p>
<!-- ========================== New Heading ==================== -->

<p><a name="mot-so-chuan-thuong-dung"></a></p>
<h3 id="mot-so-chuan-thuong-dung"><a name="user-content-mot-so-chuan-thuong-dung" href="#mot-so-chuan-thuong-dung" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>Một số chuẩn thường dùng</h3>
<p>Giả sử các vectors \(\mathbf{x} = [x_1; x_2; \dots; x_n]\), \(\mathbf{y} = [y_1; y_2; \dots; y_n]\).</p>
<p><a name = "norm2"></a><br />
Nhận thấy rằng khoảng cách Euclid chính là một norm, norm này thường được gọi là <strong>norm 2</strong>:<br />
\[<br />
\|\|\mathbf{x}\|\|_2 = \sqrt{x_1^2 + x_2^2 + \dots x_n^2} ~~~ (1)<br />
\]</p>
<p><a name = "normp"></a></p>
<p>Với \(p\) <strong>là một số không nhỏ hơn 1</strong> bất kỳ, hàm số sau đây:<br />
\[<br />
\|\|\mathbf{x}\|\|_p = (\|x_1\|^p + \|x_2\|^p + \dots \|x_n\|^p)^{\frac{1}{p}} ~~(2)<br />
\]</p>
<p>được chứng minh thỏa mãn ba điều kiện bên trên, và được gọi là <strong>norm p</strong>. </p>
<p><a name = "norm0"></a></p>
<p>Nhận thấy rằng khi \(p \rightarrow 0 \) thì biểu thức bên trên trở thành <em>số các phần tử khác 0 của</em> \(\mathbf{x}\). Hàm số  \((2)\) khi \(p = 0\) được gọi là giả chuẩn (pseudo-norm) 0. Nó không phải là norm vì nó không thỏa mãn điều kiện 2 và 3 của norm. Giả-chuẩn này, thường được ký hiệu là \(\|\|\mathbf{x}\|\|_0\), khá quan trọng trong Machine Learning vì trong nhiều bài toán, chúng ta cần có ràng buộc “sparse”, tức số lượng thành phần “active” của \(\mathbf{x}\) là nhỏ. </p>
<p>Có một vài giá trị của \(p\) thường được dùng:</p>
<ol>
<li>Khi \(p = 2\) chúng ta có norm 2 như ở trên.</li>
</ol>
<p><a name = "norm1"></a></p>
<ol>
<li>
<p>Khi \(p = 1\) chúng ta có:<br />
\[<br />
\|\|\mathbf{x}\|\|_1 = \|x_1\| + \|x_2\| + \dots \|x_n\| ~~~~ (3)<br />
\]<br />
là tổng các trị tuyệt đối của từng phần tử của \(\mathbf{x}\). Norm 1 thường được dùng như xấp xỉ của norm 0 trong các bài toán có ràng buộc &ldquo;sparse&rdquo;. Dưới đây là một ví dụ so sánh norm 1 và norm 2 trong không gian hai chiều:<br />
<div class="imgcap"><br />
<img src ="/assets/norm12.png" width = "500" align = "center"><br />
<div class="thecap"> Norm 1 và norm 2 trong không gian hai chiều.<br></div><br />
</div> <br />
Norm 2 (màu xanh) chính là đường thằng &ldquo;chim bay&rdquo; nối giữa hai vector \(\mathbf{x} \) và \(\mathbf{y}\). Khoảng cách norm 1 giữa hai điểm này (màu đỏ) có thể diễn giải như là đường đi từ \(\mathbf{x} \) tới \(\mathbf{y}\) trong một thành phố mà đường phố tạo thành hình bàn cờ. Chúng ta chỉ có cách đi dọc theo cạnh của bàn cờ mà không được đi thẳng.</p>
</li>
<li>
<p>Khi \(p \rightarrow \infty \), ta có norm \(p\) chính là trị tuyệt đối của phần tử lớn nhất của vector đó:<br />
\[<br />
\|\|\mathbf{x}\|\|_{\infty} = \max_{i = 1, 2, \dots, n} \|x_i\| ~~~ (4)<br />
\]</p>
</li>
</ol>
<!-- ========================== New Heading ==================== -->

<p><a name="chuan-cua-ma-tran"></a></p>
<h3 id="chuan-cua-ma-tran"><a name="user-content-chuan-cua-ma-tran" href="#chuan-cua-ma-tran" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>Chuẩn của ma trận</h3>
<p>Với một ma trận \(\mathbf{A} \in \mathbb{R}^{m\times n}\), chuẩn thường được dùng nhất là chuẩn Frobenius, ký hiệu là \(\|\|\mathbf{A}\|\|_F\) là căn bậc hai của tổng bình phương tất cả các phần tử của ma trận đó. <br />
\[<br />
\|\|\mathbf{A}\|\|_F = \sqrt{\sum_{i = 1}^m \sum_{j = 1}^n a_{ij}^2} ~~~ (5)<br />
\]</p>
<p><a name="-dao-ham-cua-ham-nhieu-bien"></a></p>
<h2 id="3-ao-ham-cua-ham-nhieu-bien"><a name="user-content-3-ao-ham-cua-ham-nhieu-bien" href="#3-ao-ham-cua-ham-nhieu-bien" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>3. Đạo hàm của hàm nhiều biến</h2>
<p>(Bạn có thể download bản pdf <a href="https://github.com/tiepvupsu/tiepvupsu.github.io/blob/master/assets/latex/appendix.pdf">tại đây</a>.)</p>
<p>Trong mục này, chúng ta sẽ giả sử rằng các đạo hàm tồn tại. Chúng ta sẽ xét hai trường hợp: i) Hàm số nhận giá trị là ma trận (vector) và cho giá trị là một số thực vô hướng; và ii) Hàm số nhận giá trị là một số vô hướng hoặc vector và cho giá trị là một vector. <br />
<!-- Biến của các hàm số có thể là một số vô hướng, một vector, hoặc một ma trận, nhưng đầu ra của các hàm số đều là các số vô hướng.  --></p>
<p><a name="-ham-cho-gia-tri-la-mot-so-vo-huong"></a></p>
<h3 id="31-ham-cho-gia-tri-la-mot-so-vo-huong"><a name="user-content-31-ham-cho-gia-tri-la-mot-so-vo-huong" href="#31-ham-cho-gia-tri-la-mot-so-vo-huong" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>3.1. Hàm cho giá trị là một số vô hướng</h3>
<p>Đạo hàm (gradient) của một hàm số \(f(\mathbf{x}): \mathbb{R}^n \rightarrow \mathbb{R}\) <strong>theo vector</strong> \(\mathbf{x}\) được định nghĩa như sau: </p>
<p>\[<br />
\nabla_{\mathbf{x}} f(\mathbf{x}) \triangleq <br />
\left[<br />
\begin{matrix}<br />
\frac{\partial f(\mathbf{x})}{\partial x_1} \\<br />
\frac{\partial f(\mathbf{x})}{\partial x_2} \\<br />
\vdots \\<br />
\frac{\partial f(\mathbf{x})}{\partial x_n}<br />
\end{matrix}<br />
\right] \in \mathbb{R}^n ~~~ (6)<br />
\]<br />
trong đó \(\frac{\partial f(\mathbf{x})}{\partial x_i}\) là đạo hàm của hàm số theo thành phần thứ \(i\) của vector \(\mathbf{x}\). Đạo hàm này được lấy khi giả sử tất cả các biến còn lại là hằng số.</p>
<p>Nếu không có thêm biến nào trong hàm số, \(\nabla_{\mathbf{x}}f(\mathbf{x})\) thường được viết gọn là \(\nabla f(\mathbf{x})\).</p>
<p>Điều quan trọng cần nhớ: <strong>đạo hàm của hàm số này là một vector có cùng chiều với vector đang lấy đạo hàm</strong>. Tức nếu vector viết ở dạng cột thì đạo hàm cũng phải viết ở dạng cột. </p>
<p>Đạo hàm bậc hai (second-order gradient) của hàm số trên còn được gọi là <em>Hessian</em> và được định nghĩa như sau: </p>
<p>\[<br />
\nabla^2 f(\mathbf{x}) \triangleq<br />
\left[<br />
\begin{matrix}<br />
    \frac{\partial^2 f(\mathbf{x})}{\partial x_1^2} &amp; \frac{\partial^2 f(\mathbf{x})}{\partial x_1x_2} &amp; \dots &amp; \frac{\partial^2 f(\mathbf{x})}{\partial x_1x_n} \\ <br />
    \frac{\partial^2 f(\mathbf{x})}{\partial x_2x_1} &amp; \frac{\partial^2 f(\mathbf{x})}{\partial x_2^2} &amp; \dots &amp; \frac{\partial^2 f(\mathbf{x})}{\partial x_2x_n} \\ <br />
    \vdots &amp; \vdots &amp; \ddots &amp; \vdots \\<br />
    \frac{\partial^2 f(\mathbf{x})}{\partial x_nx_1} &amp; \frac{\partial^2 f(\mathbf{x})}{\partial x_nx_2} &amp; \dots &amp; \frac{\partial^2 f(\mathbf{x})}{\partial x_n^2} \\ <br />
\end{matrix}<br />
\right] \in \mathbb{S}^{n} ~~~ (7)<br />
\] <br />
với \(\mathbb{S}^{n} \in \mathbb{R}^{n \times n}\) là tập các ma trận vuông đối xứng có số cột là \(n\).</p>
<p>Đạo hàm của một hàm số \(f(\mathbf{X}): \mathbb{R}^{n \times m} \rightarrow \mathbb{R}\) <strong>theo ma trận</strong> \(\mathbf{X}\) được định nghĩa là: <br />
\[<br />
\left[<br />
\begin{matrix}<br />
    \frac{\partial f(\mathbf{X})}{\partial x_{11}} &amp; \frac{\partial f(\mathbf{X})}{\partial x_{12}} &amp; \dots &amp; \frac{\partial f(\mathbf{X})}{\partial x_{1m}} \\<br />
    \frac{\partial f(\mathbf{X})}{\partial x_{21}} &amp; \frac{\partial f(\mathbf{X})}{\partial x_{22}} &amp; \dots &amp; \frac{\partial f(\mathbf{X})}{\partial x_{2m}} \\<br />
    \vdots &amp; \vdots &amp; \ddots &amp; \vdots \\<br />
    \frac{\partial f(\mathbf{X})}{\partial x_{n1}} &amp; \frac{\partial f(\mathbf{X})}{\partial x_{n2}} &amp; \dots &amp; \frac{\partial f(\mathbf{X})}{\partial x_{nm}} <br />
\end{matrix}<br />
\right] \in \mathbb{R}^{n \times m} ~~~ (8)<br />
\]</p>
<p>Một lần nữa, đạo hàm của một hàm số theo ma trận là một ma trận có chiều giống với ma trận đó.</p>
<p>Hiểu một cách đơn giản, đạo hàm của một hàm số (có đầu ra là 1 số vô hướng) theo một ma trận được tính như sau. Trước tiên, tính đạo hàm của hàm số đó theo từng thành phần của ma trận <em>khi toàn bộ các thành phần khác được giả sử là hằng số</em>. Tiếp theo, ta <em>ghép</em> các đạo hàm thành phần tính được thành một ma trận đúng theo thứ tự như trong ma trận đó. Chú ý rằng vector là một trường hợp của ma trận. </p>
<p><strong>Ví dụ:</strong> Xét hàm số: \(f: \mathbb{R}^2 \rightarrow \mathbb{R}\), \(f(\mathbf{x}) = x_1 ^2 + 2x_1x_2 + \sin(x_1) + 2\). </p>
<p>Đạo hàm bậc nhất theo \(\mathbf{x}\) của hàm số đó là: <br />
\[<br />
\nabla f(\mathbf{x}) =<br />
\left[<br />
\begin{matrix}<br />
    \frac{\partial f(\mathbf{x})}{\partial x_1} \\<br />
    \frac{\partial f(\mathbf{x})}{\partial x_2}<br />
\end{matrix}<br />
\right] = \left[<br />
\begin{matrix}<br />
    2x_1 + 2x_2 + \cos(x_1) \\<br />
    2x_1<br />
\end{matrix}<br />
\right]<br />
\]</p>
<p>Đạo hàm bậc hai theo \(\mathbf{x}\), hay <em>Hessian</em> là: <br />
\[<br />
\nabla^2 f(\mathbf{x}) = <br />
\left[<br />
\begin{matrix}<br />
    \frac{\partial^2 f(\mathbf{x})}{\partial x_1^2} &amp; \frac{\partial f^2(\mathbf{x})}{\partial x_1x_2} \\<br />
    \frac{\partial^2 f(\mathbf{x})}{\partial x_2x_1} &amp; \frac{\partial f^2(\mathbf{x})}{\partial x_2^2}<br />
\end{matrix}<br />
\right] =<br />
\left[<br />
\begin{matrix}<br />
    2 - \sin(x_1) &amp; 2 \\<br />
    2 &amp; 0 <br />
\end{matrix}<br />
\right] ~~~ (9)<br />
\]<br />
Chú ý rằng <em>Hessian</em> luôn là một ma trận đối xứng. </p>
<p><a name="-ham-cho-gia-tri-la-mot-vector"></a></p>
<h3 id="32-ham-cho-gia-tri-la-mot-vector"><a name="user-content-32-ham-cho-gia-tri-la-mot-vector" href="#32-ham-cho-gia-tri-la-mot-vector" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>3.2. Hàm cho giá trị là một vector</h3>
<p>Những hàm số cho giá trị là một vector được gọi là <em>vector-valued function</em> trong tiếng Anh. </p>
<p>Giả sử một hàm số với <strong>đầu vào là một số thực</strong> \(v(x): \mathbb{R} \rightarrow \mathbb{R}^n \):<br />
\[<br />
v(x) = <br />
\left[<br />
\begin{matrix}<br />
    v_1(x) \\<br />
    v_2(x) \\<br />
    \vdots \\<br />
    v_n(x)<br />
\end{matrix}<br />
\right] <del>~ (10)<br />
\]<br />
Đạo hàm của nó là một <strong>vector hàng</strong> như sau: <br />
\[<br />
\nabla v(x) \triangleq <br />
\left[<br />
\begin{matrix}<br />
    \frac{\partial v_1(x)}{\partial x} &amp; \frac{\partial v_2(x)}{\partial x} &amp; \dots &amp; \frac{\partial v_n(x)}{\partial x}<br />
\end{matrix}<br />
\right] </del>~ (11)<br />
\]<br />
Đạo hàm bậc hai của hàm số này có dạng:</p>
<p>\[<br />
\nabla^2 v(x) \triangleq <br />
\left[<br />
\begin{matrix}<br />
    \frac{\partial^2 v_1(x)}{\partial x^2} &amp; \frac{\partial^2 v_2(x)}{\partial x^2} &amp; \dots &amp; \frac{\partial^2 v_n(x)}{\partial x^2}<br />
\end{matrix}<br />
\right] ~~~(12)<br />
\]</p>
<p><strong>Ví dụ:</strong> Cho vector \(\mathbf{a} \in \mathbb{R}^n\) và <em>vector-valued function</em> \(v(x) = x\mathbf{a}\), thế thì:<br />
\[<br />
\nabla v(x) = \mathbf{a}^T, ~~~ \nabla^2 v(x) = \mathbf{0} \in \mathbb{R}^{n\times n}<br />
\]<br />
với \(\mathbf{0}\) là ma trận với các thành phần đều là 0. <br />
<hr></p>
<p>Xét một <em>vector-valued function</em> với <strong>đầu vào là một vector</strong> \(h(\mathbf{x}):\mathbb{R}^k \rightarrow \mathbb{R}^n\), đạo hàm bậc nhất của nó là:<br />
\[<br />
\begin{eqnarray}<br />
\nabla h(\mathbf{x}) &amp;\triangleq &amp;<br />
\left[<br />
\begin{matrix}<br />
    \frac{\partial h_1(\mathbf{x})}{\partial x_1} &amp; \frac{\partial h_2(\mathbf{x})}{\partial x_1} &amp; \dots &amp; \frac{\partial h_n(\mathbf{x})}{\partial x_1} \\ <br />
    \frac{\partial h_1(\mathbf{x})}{\partial x_2} &amp; \frac{\partial h_2(\mathbf{x})}{\partial x_2} &amp; \dots &amp; \frac{\partial h_n(\mathbf{x})}{\partial x_2} \\ <br />
    \vdots &amp; \vdots &amp; \ddots &amp; \vdots \\<br />
    \frac{\partial h_1(\mathbf{x})}{\partial x_k} &amp; \frac{\partial h_2(\mathbf{x})}{\partial x_k} &amp; \dots &amp; \frac{\partial h_n(\mathbf{x})}{\partial x_k}<br />
\end{matrix}<br />
\right]<del>~(13.1)\\<br />
&amp; = &amp; <br />
\left[<br />
\begin{matrix}<br />
    \nabla h_1(\mathbf{x}) &amp; \nabla h_2(\mathbf{x}) &amp; \dots &amp; \nabla h_n(\mathbf{x})<br />
\end{matrix}<br />
\right] \in \mathbf{R}^{k\times n} </del>~ (13.2)<br />
\end{eqnarray} <br />
\]</p>
<p><strong>Một quy tắc dễ nhớ ở đây là nếu một hàm số</strong> \(g: \mathbb{R}^m \rightarrow \mathbb{R}^n\) <strong>thì đạo hàm của nó là một ma trận thuộc</strong> \(\mathbb{R}^{m \times n}\).</p>
<p>Đạo hàm bậc hai của hàm số trên là một <em>ma trận ba chiều</em>, tôi xin không đề cập ở đây. </p>
<!-- <hr> 
Xét một _ -->

<p><hr><br />
Với các hàm số <em>matrix-valued</em> nhận giá trị đầu vào là ma trận, tôi cũng xin không đề cập ở đây. Tuy nhiên, ở phần dưới, khi tính toán đạo hàm cho các hàm cho giá trị là số thực, chúng ta vẫn có thể sẽ sử dụng khái niệm này.</p>
<p>Trước khi đến phần tính đạo hàm của các hàm số thường gặp, chúng ta cần biết hai tính chất quan trọng khá giống với đạo hàm của hàm một biến được học trong chương trình cấp ba. </p>
<p><a name="-hai-tinh-chat-quan-trong"></a></p>
<h3 id="33-hai-tinh-chat-quan-trong"><a name="user-content-33-hai-tinh-chat-quan-trong" href="#33-hai-tinh-chat-quan-trong" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>3.3. Hai tính chất quan trọng</h3>
<p><a name="product-rules"></a></p>
<h4 id="product-rules"><a name="user-content-product-rules" href="#product-rules" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>Product rules</h4>
<p>Để cho tổng quát, ta giả sử biến đầu vào là một ma trận (vector và số thực là các trường hợp đặt biệt của ma trận). Giả sử rằng các hàm số có chiều phù hợp để các phép nhân thực hiện được. Ta có: </p>
<p>\[<br />
\nabla\left( f(\mathbf{X})^Tg(\mathbf{X}) \right) = \left(\nabla f(\mathbf{X})\right) g(\mathbf{X}) + \left(\nabla g(\mathbf{X})\right) f(\mathbf{X}) ~~~ (14)<br />
\]</p>
<p>Biểu thức này giống như biểu thức chúng ta đã quá quen thuộc:<br />
\[<br />
\left(f(x)g(x)\right)&lsquo; = f&rsquo;(x)g(x) + g&rsquo;(x)f(x)<br />
\]<br />
Chú ý rằng với vector và ma trận, chúng ta không được sử dụng tính chất giao hoán. </p>
<p><a name="chain-rules"></a></p>
<h4 id="chain-rules"><a name="user-content-chain-rules" href="#chain-rules" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>Chain rules</h4>
<p>Khi có các hàm hợp thì:<br />
\[<br />
\nabla_{\mathbf{X}} g(f(\mathbf{X})) = \nabla_{\mathbf{X}} f^T \nabla_{f}g ~~~ (15)<br />
\]</p>
<p>Quy tắc này cũng giống với quy tắc trong hàm một biến: <br />
\[<br />
(g(f(x))&rsquo; = f&rsquo;(x)g&rsquo;(f)<br />
\]<br />
Nhắc lại rằng khi tính toán với ma trận, chúng ta cần chú ý tới chiều của các ma trận, và nhân ma trận không có tính chất giao hoán. <br />
<a name="-dao-ham-cua-cac-ham-so-thuong-gap"></a></p>
<h3 id="34-ao-ham-cua-cac-ham-so-thuong-gap"><a name="user-content-34-ao-ham-cua-cac-ham-so-thuong-gap" href="#34-ao-ham-cua-cac-ham-so-thuong-gap" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>3.4. Đạo hàm của các hàm số thường gặp</h3>
<p><a name="\\f\mathbfx--\mathbfa^t\mathbfx\\"></a></p>
<h4 id="92fmathbfx-mathbfatmathbfx92"><a name="user-content-92fmathbfx-mathbfatmathbfx92" href="#92fmathbfx-mathbfatmathbfx92" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>\(f(\mathbf{x}) = \mathbf{a}^T\mathbf{x}\)</h4>
<p>Giả sử \(\mathbf{a}, \mathbf{x} \in \mathbb{R}^n\), ta viết lại:<br />
\[<br />
f(\mathbf{x}) = \mathbf{a}^T\mathbf{x} = a_1 x_1 + a_2 x_2 + \dots + a_nx_n<br />
\]<br />
Có thể nhận thấy rằng:<br />
\[<br />
\frac{\partial f(\mathbf{x})}{\partial x_i} = a_i, ~ \forall i = 1, 2\dots, n<br />
\]<br />
Vậy nên:<br />
\[<br />
\nabla f(\mathbf{x}) = <br />
\left[<br />
\begin{matrix}<br />
    a_1 \\<br />
    a_2 \\<br />
    \vdots \\<br />
    a_n<br />
\end{matrix}<br />
\right] = \mathbf{a} ~~~ (17)<br />
\]</p>
<p>Thêm nữa, vì \(\mathbf{a}^T\mathbf{x} = \mathbf{x}^T\mathbf{a}\) nên:<br />
\[<br />
\nabla (\mathbf{x}^T\mathbf{a}) = \mathbf{a}<br />
\]</p>
<p><a name="\\f\mathbfx--\mathbfax\\"></a></p>
<h4 id="92fmathbfx-mathbfax92"><a name="user-content-92fmathbfx-mathbfax92" href="#92fmathbfx-mathbfax92" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>\(f(\mathbf{x}) = \mathbf{Ax}\)</h4>
<p>Đây là một <em>vector-valued function</em> \(f: \mathbb{R}^n \rightarrow \mathbb{R}^{m} \) với \(\mathbf{x} \in \mathbb{R}^n, \mathbf{A} \in \mathbb{R}^{m\times n}\). Giả sử rằng \(\mathbf{a}_i\) là <strong>hàng</strong> thứ \(i\) của ma trận \(\mathbf{A}\). Ta có: <br />
\[<br />
\mathbf{Ax}  = <br />
\left[<br />
\begin{matrix}<br />
    \mathbf{a}_1\mathbf{x} \\<br />
    \mathbf{a}_2\mathbf{x} \\<br />
    \vdots\\<br />
    \mathbf{a}_m\mathbf{x} <br />
\end{matrix}<br />
\right]<br />
\]<br />
Theo định nghĩa \((13.2)\), và công thức \((17)\), ta có thể suy ra:<br />
\[<br />
\nabla_{\mathbf{x}} (\mathbf{Ax}) = <br />
\left[<br />
\begin{matrix}<br />
    \mathbf{a}_1^T &amp; \mathbf{a}_2^T &amp; \dots &amp; \mathbf{a}_m^T<br />
\end{matrix}<br />
\right] = \mathbf{A}^T ~~~ (18)<br />
\]</p>
<p>Từ đây ta có thể suy ra đạo hàm của hàm số \(f(\mathbf{x}) = \mathbf{x} = \mathbf{Ix}\), với \(\mathbf{I}\) là ma trận đơn vị với chiều phù hợp, là:<br />
\[<br />
\nabla \mathbf{x} = \mathbf{I} ~~~ (19)<br />
\]<br />
<a name="\\f\mathbfx--\mathbfx^t\mathbfa-\mathbfx\\"></a></p>
<h4 id="92fmathbfx-mathbfxtmathbfa-mathbfx92"><a name="user-content-92fmathbfx-mathbfxtmathbfa-mathbfx92" href="#92fmathbfx-mathbfxtmathbfa-mathbfx92" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>\(f(\mathbf{x}) = \mathbf{x}^T\mathbf{A} \mathbf{x}\)</h4>
<p>với \(\mathbf{x} \in \mathbb{R}^n, \mathbf{A} \in \mathbb{R}^{n\times n}\). Áp dụng Product rules \((14)\) ta có:<br />
\[<br />
\begin{eqnarray}<br />
\nabla f(\mathbf{x}) &amp;=&amp; \nabla \left(\left(\mathbf{x}^T\right) \left(\mathbf{Ax}\right)\right) \\<br />
                     &amp;=&amp; \left(\nabla (\mathbf{x})\right) \mathbf{Ax} + \left(\nabla (\mathbf{Ax})\right)\mathbf{x} \\ <br />
                     &amp; = &amp; \mathbf{IAx} + \mathbf{A}^T\mathbf{x} \\<br />
                     &amp; = &amp; (\mathbf{A} + \mathbf{A}^T)\mathbf{x}<br />
\end{eqnarray} ~~~ (19)<br />
\]</p>
<p>Từ \((19)\) và \((18)\), ta có thể suy ra:<br />
\[<br />
\nabla^2 \mathbf{x}^T\mathbf{Ax} = \mathbf{A}^T + \mathbf{A} ~~~ (20)<br />
\]</p>
<p>Nếu \(\mathbf{A}\) là một ma trận đối xứng, ta sẽ có:<br />
\[<br />
\begin{eqnarray}<br />
\nabla \mathbf{x}^T\mathbf{A}\mathbf{x} &amp;=&amp; 2\mathbf{Ax}<del>~(21)\\<br />
\nabla^2 \mathbf{x}^T\mathbf{Ax} &amp;=&amp; 2\mathbf{A} </del>~(22)<br />
\end{eqnarray}<br />
\]</p>
<p>Nếu \(\mathbf{A}\) là ma trận đơn vị, tức \(f(\mathbf{x}) = \mathbf{x}^T\mathbf{Ix} = \mathbf{x}^T\mathbf{x} = \|\|\mathbf{x}\|\|_2^2\), ta có:<br />
\[<br />
\begin{eqnarray}<br />
\nabla \|\|\mathbf{x}\|\|_2^2 &amp;=&amp; 2\mathbf{x}\\<br />
\nabla^2 \|\|\mathbf{x}\|\|_2^2 &amp;=&amp; 2\mathbf{I}<br />
\end{eqnarray}<br />
\]</p>
<p><a name="\\f\mathbfx--\|\|\mathbfax---\mathbfb\|\|^-\\"></a></p>
<h4 id="92fmathbfx-mathbfax-mathbfb_22-92"><a name="user-content-92fmathbfx-mathbfax-mathbfb_22-92" href="#92fmathbfx-mathbfax-mathbfb_22-92" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>\(f(\mathbf{x}) = \|\|\mathbf{Ax} - \mathbf{b}\|\|_2^2 \)</h4>
<p>Có hai cách tính đạo hàm của hàm số này:</p>
<p><strong>Cách 1:</strong><br />
Trước hết, biến đổi:<br />
\[<br />
\begin{eqnarray}<br />
f(\mathbf{x}) &amp;=&amp; \|\|\mathbf{Ax} - \mathbf{b}\|\|_2^2 = (\mathbf{Ax} - \mathbf{b})^T(\mathbf{Ax} - \mathbf{b}) \\<br />
&amp;=&amp; (\mathbf{x}^T\mathbf{A}^T - \mathbf{b}^T) (\mathbf{Ax} - \mathbf{b}) \\<br />
&amp;=&amp; \mathbf{x}^T\mathbf{A}^T\mathbf{Ax} - 2 \mathbf{b}^T\mathbf{Ax} + \mathbf{b}^T\mathbf{b}<br />
\end{eqnarray}<br />
\]<br />
Lấy đạo hàm cho từng số hạng rồi cộng lại ta có: <br />
\[<br />
\nabla \|\|\mathbf{Ax} - \mathbf{b}\|\|_2^2 = 2\mathbf{A}^T\mathbf{A}\mathbf{x} - 2\mathbf{A}^T\mathbf{b} = 2\mathbf{A}^T(\mathbf{Ax} - \mathbf{b})<br />
\]</p>
<p><strong>Cách 2:</strong> Dùng Chain rule.<br />
Sử dụng \(\nabla (\mathbf{Ax} - \mathbf{b}) = \mathbf{A}^T\) và \(\nabla \|\|\mathbf{x}\|\|_2^2 = 2\mathbf{x}\) và công thức \((15)\), ta sẽ thu được kết quả tương tự. </p>
<p><a name="\\f\mathbfx--\mathbfa^t\mathbfx\mathbfx^t\mathbfb\\"></a></p>
<h4 id="92fmathbfx-mathbfatmathbfxmathbfxtmathbfb92"><a name="user-content-92fmathbfx-mathbfatmathbfxmathbfxtmathbfb92" href="#92fmathbfx-mathbfatmathbfxmathbfxtmathbfb92" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>\(f(\mathbf{x}) = \mathbf{a}^T\mathbf{x}\mathbf{x}^T\mathbf{b}\)</h4>
<p>Bằng cách viết lại \(f(\mathbf{x}) = (\mathbf{a}^T\mathbf{x})(\mathbf{x}^T\mathbf{b})\), ta có thể dùng Product rules \((14)\) và ra kết quả: <br />
\[<br />
\begin{eqnarray}<br />
\nabla (\mathbf{a}^T\mathbf{x}\mathbf{x}^T\mathbf{b}) &amp;=&amp; \mathbf{a} \mathbf{x}^T\mathbf{b} +  \mathbf{b}\mathbf{a}^T\mathbf{x} \\<br />
&amp;=&amp; \mathbf{ab}^T\mathbf{x} + \mathbf{b}\mathbf{a}^T\mathbf{x}\\<br />
&amp;=&amp; (\mathbf{ab}^T + \mathbf{ba}^T)\mathbf{x}<br />
\end{eqnarray}<br />
\]<br />
trong đây tôi đã sử dụng tính chất \(\mathbf{y}^T\mathbf{z} = \mathbf{z}^T\mathbf{y}\) và tích của một số thực với một vector cũng bằng tích của vector và số thực đó. </p>
<p><a name="-bang-cac-dao-ham-thuong-gap"></a></p>
<h3 id="35-bang-cac-ao-ham-thuong-gap"><a name="user-content-35-bang-cac-ao-ham-thuong-gap" href="#35-bang-cac-ao-ham-thuong-gap" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>3.5. Bảng các đạo hàm thường gặp</h3>
<p><!-- ========================== New Heading ==================== --><br />
<a name="cho-vector"></a></p>
<h4 id="cho-vector"><a name="user-content-cho-vector" href="#cho-vector" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>Cho vector</h4>
<table>
<thead>
<tr>
<th>\(f(\mathbf{x}) \)</th>
<th>\( \nabla f(\mathbf{x}) \)</th>
</tr>
</thead>
<tbody>
<tr>
<td a="a">\(\mathbf</td>
<td a="a">\(\mathbf</td>
</tr>
<tr>
<td x="x">\(\mathbf</td>
<td A="A">\(\mathbf</td>
</tr>
<tr>
<td x="x">\(\mathbf</td>
<td>\</td>
</tr>
<tr>
<td>\( \</td>
<td>\</td>
</tr>
<tr>
<td a="a">\(\mathbf</td>
<td a="a">\(2\mathbf</td>
</tr>
<tr>
<td a="a">\(\mathbf</td>
<td a="a">\( (\mathbf</td>
</tr>
</tbody>
</table>
<!-- ========================== New Heading ==================== -->

<p><a name="cho-ma-tran"></a></p>
<h4 id="cho-ma-tran"><a name="user-content-cho-ma-tran" href="#cho-ma-tran" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>Cho ma trận</h4>
<table>
<thead>
<tr>
<th>\(f(\mathbf{X}) \)</th>
<th>\( \nabla f(\mathbf{X}) \)</th>
</tr>
</thead>
<tbody>
<tr>
<td a="a">\( \mathbf</td>
<td X="X">\( \mathbf</td>
</tr>
<tr>
<td a="a">\( \mathbf</td>
<td ab="ab">\( (\mathbf</td>
</tr>
<tr>
<td a="a">\( \mathbf</td>
<td b="b">\( \mathbf</td>
</tr>
<tr>
<td a="a">\( \mathbf</td>
<td Y="Y">\( \mathbf</td>
</tr>
<tr>
<td a="a">\( \mathbf</td>
<td a="a">\( \mathbf</td>
</tr>
<tr>
<td a="a">\( \mathbf</td>
<td Y="Y">\( \mathbf</td>
</tr>
</tbody>
</table>
<p><a name="-tai-lieu-tham-khao"></a></p>
<h3 id="36-tai-lieu-tham-khao"><a name="user-content-36-tai-lieu-tham-khao" href="#36-tai-lieu-tham-khao" class="headeranchor-link" aria-hidden="true"><span class="headeranchor"></span></a>3.6. Tài liệu tham khảo</h3>
<p>[1] <a href="https://ccrma.stanford.edu/~dattorro/matrixcalc.pdf">Matrix calculus</a></p></article></body></html>