tex で行列の省略した部分を書く方法

斜めの点列を \ddots として書くのがコツ。
\matrix を使うためにパッケージ amsmath を使う。

例

\usepackage{amsmath}
\begin{document}
$$
\textbf{A} =
\left(
\begin{matrix}{ccc}
A_{11} & \cdots & A_{1n} \\
\vdots & \ddots & \vdots \\
A_{n1} & \cdots & A_{nn}
\end{matrix}\right)
$$
\end{document}

結果