В учебнике перед определением пример:
Как решить уравнение 7/8*х=1?
Очевидно, что х=8/7, так как эта дробь - обратная и 7/8*8/7=1
Таким образом х=1:7/8=8/7
И уже отсюда следует, что для деления надо умножить на обратную дробь.

И дальше сквозь всю матемактику именно этот смысл и вкладывается в деление.
Чтобы разделить матрицу на другую матрицу, надо матрицу умножить на матрицу, обратную другой
И так далее...