位相群 G, H に対し、写像 G → H が位相群の準同型であるとは、それが連続な群準同型となるときに言う。位相群の同型は、群同型であって、なおかつ台となる位相空間の間の同相でもある。これは単に連続な群同型であるという条件よりも強く、逆写像もまた連続でなければならない。代数的な群同型だが位相群としては同型でないという位相群の例が存在する。実際、任意の非離散位相群に対し、その位相を離散位相に取り換えた位相群を考えれば、台となる群は同じ(特に同型)だが、位相群としては同型にならない。
G 上に左不変距離が存在して、それによる距離位相がもともとの位相に一致する。ただし、G 上の距離が左不変であるとは、各元 a ∈ G の左乗 x ↦ ax が G 上の等距変換となるものをいう。)
位相群の任意の部分群は、相対位相に関してそれ自身が位相群になる。G の部分群 H に対し、左剰余類全体の成す集合 G/H に商位相を入れたものは G の等質空間と呼ばれる。商写像q: G → G/H は常に開になる。例えば、正整数 n に対し、超球面Sn は、Rn+1 の回転群SO(n + 1) の等質空間で、実際 Sn = SO(n + 1)/SO(n) が成り立つ。等質空間 G/H がハウスドルフとなるための必要十分条件は、H が G において閉となることである[7]。半ばこれを理由に、位相群の研究において部分群としては閉部分群を主に考えるのが自然である。
任意の開部分群 H は G において閉である。これは H の補集合が、開集合 gH (g ∈ G\H) の合併に等しいことからわかる。
G の正規部分群H に対し、剰余群G/H は商位相に関して位相群を成す。この剰余群がハウスドルフとなるための必要十分条件は、H が G において閉となることである。例えば、剰余群 R/Z は円周群 S1 に同型である。
G の部分群 H に対し、H の閉包もまた部分群となる。同様に、H が G の正規部分群ならば、H の閉包も G において正規になる。
任意の位相群において、単位成分(英語版)(すなわち、単位元を含む連結成分)は閉部分群を成す。単位成分 C と任意の点 a ∈ G に対し、左剰余類 aC は G の a を含む連結成分となる。したがって、G における C の左剰余類全体の成す集合、あるいは右剰余類全体の成す集合は、G の連結成分全体の成す集合に等しい。これにより、剰余群 G/C は完全不連結であることが従う[8]
通常の群論における代数的な群の同型定理は、位相群に対しては必ずしも正しくない(これは全単射な準同型が必ずしも位相群の同型でないことによる)。それでも、定理に現れる写像を適切に制限すれば、定理は成り立つ。例えば、第一同型定理の主張「f: G → H が準同型ならば、それが誘導する写像 G/ker(f) → im(f) は同型」が成り立つための必要十分条件は、f がその像の上への開写像となることである[9]。
ヒルベルトの第五問題
位相群とリー群との間の関係について、いくつか強力な結果が存在する。まず、リー群の間の任意の連続準同型 G → H は滑らかになる。これにより、位相群がリー群の構造を持つならば、その構造は一意に決まる。また、カルタンの定理(英語版)は、リー群の任意の閉部分群がリー部分群、特に滑らかな部分多様体となることを述べる。
ヒルベルトの第五問題(英語版)は、位相多様体の構造を持つ位相群 G がリー群となるか(つまり、滑らかな多様体の構造が入り、群演算が滑らかであるようにできるか)を問うものである。この問題はGleason, Montgomery, Zippinらによって肯定的に解決された[10]。実は G は実解析的構造(英語版)を持つ。この可微分構造を用いて、G のリー環を定義することができる(これは被覆空間の違いを除いて連結群 G を決定する線型代数学的な対象である)。結果として、ヒルベルトの第五問題の解は、位相多様体であるような位相群の分類という代数的な問題に帰着されたが、一般には複雑な問題である。
位相群 G の位相空間 X への(連続)作用は、G の X への群作用であって、対応する写像 G × X → X が連続となるものをいう。同様に、位相群 G の実または複素線型空間 V における表現(線型表現)は、G の V への連続作用であって、各 g ∈ G に対する写像 v ↦ gv が V 上の線型変換となるものを言う。
群作用および表現論は特にコンパクト群に対してはよくわかっており、それは有限群の表現論(英語版)の内容を一般化するものになっている。例えば、コンパクト群の任意の有限次元表現は既約表現の直和である。また、コンパクト群の無限次元ユニタリ表現は、ヒルベルト空間として既約表現(これらはすべて有限次元)の直和に分解することができる。これはピーター–ワイルの定理(英語版)の一部である[13]。例えば、フーリエ級数論が述べるのは、円周群 S1 の複素ヒルベルト空間 L2(S1) におけるユニタリ表現の分解である。S1 の既約表現はすべて一次元であり、適当な整数 n に対する z ↦ zn の形をしている(ここで S1 は非零複素数の成す乗法群 C* の部分群と見ている)。これら既約表現は L2(S1) に各々重複度 1 で現れる。
より一般に、局所コンパクト群は、ハール測度によって与えられる自然な測度および積分の概念が入り、調和解析の豊かな理論を含む。局所コンパクト群の任意のユニタリ表現は、既約ユニタリ表現の直積分(英語版)として記述できる。この分解は G がI-型(アーベル群や半単純リー群などの重要な例の大部分がこれに含まれる)ならば本質的に一意である[14]。基本的な例はフーリエ変換で、これは実数の加法群 R のヒルベルト空間 L2(R) への作用を R の既約ユニタリ表現の直積分に分解する。R の既約ユニタリ表現はすべて一次元で、適当な a ∈ R に対する x ↦ e2πiax の形をしている。
局所コンパクトアーベル群 G に対しては、任意の既約ユニタリ表現は一次元である。この場合、ユニタリ双対 ˆG は群となり、実は局所コンパクトアーベル群になる。ポントリャーギン双対性とは、局所コンパクトアーベル群 G に対して ˆG のユニタリ双対がもとの群 G に等しいことを述べるものである。例えば、整数の加法群 Z の双対群は円周群 S1 であり、実数の加法群 R の双対群は R に同型である。
任意の局所コンパクト群 G は十分多くの既約ユニタリ表現を持ち、例えば G の任意の点を区別することができる (ゲルファント–ライコフの定理(英語版))。対照的に、局所コンパクトでない位相群の表現論は、特別な場合を除きほとんど発展しておらず、おそらく一般論を期待するのは妥当でない。例えば、アーベルなバナッハ・リー群(英語版)でそのヒルベルト空間上の任意の表現が自明となるものはたくさんある[15]。
位相群のホモトピー論
位相群はすべての位相空間の中でも特別のものだが、それはそれらのホモトピー型の意味でもそうである。基本となるのは、位相群 G が弧状連結な位相空間である分類空間BG を決定することである(分類空間は、緩やかな仮定の下で位相空間上の主 G-束を分類する)。群 G はホモトピー圏(英語版)において BG のループ空間(英語版)に同型である。これは G のホモトピー型に様々な制約があることを意味する[16]。これら制約の中にはH空間(英語版)の広い文脈で満足されるものもある。
例えば、位相群 G の基本群はアーベル群である(より一般に、G のホモトピー群のホワイトヘッド積(英語版)は零になる)。また、任意の体 k に対するコホモロジー環 H*(G, k) はホップ代数の構造を持つ。ハインツ・ホップ(英語版)とアルマン・ボレルによるホップ代数の構造定理の観点から、これは位相群の取りうるコホモロジー環に強い制約をかけるものになっている。特に、G が弧状連結な位相群でその有理係数コホモロジー環 H*(G, Q) が各次数で有限次元となるならば、この環は Q 上の自由次数付き可換環でなければならない。これはすなわち、偶数次生成元上の多項式環と奇数次生成元上の外積代数との代数のテンソル積である[17]。
特に、連結リー群 G に対し、G の有理係数コホモロジー環は奇数時の生成元上の外積代数である。さらには、連結リー群 G は極大コンパクト部分群(英語版)K を(共軛を除いて一意に)持ち、K の G への包含はホモトピー同値になる。したがって、リー群のホモトピー型を記述することは、コンパクトリー群のそれに帰着される。例えば、SL(2, R) の極大コンパクト部分群は円周群 SO(2) で、その等質空間 SL(2, R)/SO(2) は双曲平面(英語版)に同一視できる。双曲平面は可縮であるから、円周群の SL(2, R) への包含写像はホモトピー同値になる。