1๏ธโฃ AI•DS/๐ GNN8 [cs224w] Frequent Subgraph Mining with GNNs 1๏ธโฃ 12๊ฐ ๋ณต์ต ๐น Main Topic : Subgraph Mining - Identifying and Counting Motfits in Networks • Subgraph ์ motifs ๋ ๊ทธ๋ํ ๊ตฌ์กฐ์ ๋ํ ์ธ์ฌ์ดํธ๋ฅผ ์ป๊ฒ ํด์ฃผ๋ ์์์ด๋ค. • ํน์ ๊ทธ๋ํ๋ค ์ฌ์ด์์ Subgraph Isomorphism ๊ด๊ณ์ ์๋์ง ์์ธกํ๋ Task ์ ๋ํด ์ ๊ฒฝ๋ง์ ํ์ฉํ๋ค. • Subgraph ๊ด๊ณ๋ฅผ ํ๋ณํ๋ ๋ฐฉ๋ฒ : Order embedding ๐น Subgraph and Motifs • Building Blocks of Networks → Subgraph (=Mofits) ๋ ๋คํธ์ํฌ์ function ์ด๋ behavior ๊ณผ ๊ฐ์ ์์๋ฅผ ๊ฒฐ์ ํ๋ค. ์ด๋ฅผ ํตํด ๊ทธ๋ํ๊ฐ ์ด๋ป๊ฒ ์๋ํ๋์ง ์ ์ ์๊ณ , .. 2023. 1. 27. [cs224w] Theory of Graph Neural Networks 1๏ธโฃ 9๊ฐ ๋ณต์ต ๐น Main Topic : GNN ์ ํํ๋ฅ๋ ฅ๊ณผ ๋ฒ์ • Expressive power : ์ด๋ป๊ฒ ์๋ก๋ค๋ฅธ ๊ทธ๋ํ ๊ตฌ์กฐ๋ฅผ ๊ตฌ๋ณํ๋๊ฐ (node ์ graph structure ๋ฅผ ์ด๋ป๊ฒ ๊ตฌ๋ถํ๋๊ฐ) • Maximally expressive GNN model : ํํ๋ ฅ์ ์ด๋์ ๊ทน๋ํ ์ํฌ ์ ์์๊น ๐น GNN model โ GCN : mean pool โก GraphSAGE : max pool • Local Neighborhood Structure : ๋ชจ๋ ๋ ธ๋๊ฐ ๊ฐ์ feature ๋ฅผ ๊ฐ์ง๊ณ ์๋ ๊ทธ๋ํ์์ ์๋ก๋ค๋ฅธ ๋ ธ๋๋ฅผ ๊ตฌ๋ณํ๋ ๋ฐฉ๋ฒ (same color - same feature ๋ก ๊ฐ์ฃผ) โช ๊ธฐ์ค1 : different node degree โช ๊ธฐ์ค2 : different nei.. 2023. 1. 6. [CS224W] Graph Neural Network 1๏ธโฃ 6๊ฐ ๋ณต์ต ๐น Main Topic : Graph Neural Networks โ ๋ณต์ต : Node embedding • ๊ทธ๋ํ์์ ์ ์ฌํ ๋ ธ๋๋ค์ด ํจ์ f ๋ฅผ ๊ฑฐ์ณ d ์ฐจ์์ผ๋ก ์๋ฒ ๋ฉ ๋์์ ๋, ์๋ฒ ๋ฉ ๊ณต๊ฐ ๋ด์์ ๊ฐ๊น์ด ์์นํ๋๋ก ๋ง๋๋ ๊ฒ โช Encoder : ๊ฐ ๋ ธ๋๋ฅผ ์ ์ฐจ์ ๋ฒกํฐ๋ก ๋งคํ โช Similarity function : ์๋ ๊ทธ๋ํ ๋ด์์์ ๋ ธ๋ ๊ฐ ์ ์ฌ๋์ ์๋ฒ ๋ฉ ๊ณต๊ฐ์์ ๋ ธ๋ ๋ฒกํฐ์ ๋ด์ ๊ฐ์ด ์ ์ฌํ๋๋ก ๋ง๋๋ ํจ์ • Shallow Encoding (embedding lookup) : ์๋ฒ ๋ฉ ํ๋ ฌ์์ ๋ ธ๋์ ์๋ฒ ๋ฉ ๋ฒกํฐ๋ฅผ ๊ฐ ์นผ๋ผ์ ๋ด์, ๋จ์ํ ๋ฒกํฐ๋ฅผ ์ฝ์ด์ค๋ ๋ฐฉ์ → ๐คจ ๋ ธ๋ ๊ฐ์ ํ๋ผ๋ฏธํฐ๋ฅผ ๊ณต์ ํ์ง ์๊ธฐ ๋๋ฌธ์ ๋ ธ๋์ ๊ฐ์๊ฐ ์ฆ๊ฐํ ์๋ก ํ๋ ฌ์ ํฌ๊ธฐ๊ฐ ๊ณ์ ๋์ด๋๊ฒ ๋๋ฉฐ.. 2022. 11. 24. [CS224W] Message Passing and Node classification 1๏ธโฃ 5๊ฐ ๋ณต์ต ๐นMain Topic : Node classification • ๋ช๊ฐ์ ๋ ธ๋์ ๋ ์ด๋ธ์ด ์ฃผ์ด์ง ๋, ๋ค๋ฅธ ๋ชจ๋ ๋ ธ๋์ ๋ ์ด๋ธ์ ์์ธกํ๋ node classification Task ๐ Semi supervised node classification : ๋ผ๋ฒจ๋ง๋ ๋ ธ๋์ ๊ทธ๋ ์ง ์์ ๋ ธ๋๋ฅผ ๋์์ ์ฌ์ฉํ๋ ๋ถ๋ฅ๋ฌธ์ • Message Passing ๋ฐฉ๋ฒ์ ํตํด ๋ ธ๋ ๊ฐ์ correlation (dependencies) ์ ๊ฐ์ ํ์ฌ ๋ ์ด๋ธ์ ์์ธกํ๋ค. • correlation : ๋น์ทํ ๋ ธ๋๋ ์ง์ ์ ์ผ๋ก ์ฐ๊ฒฐ๋์ด ์๊ฑฐ๋ ๊ทผ์ ํ ์์น์ ์กด์ฌํ๋ค๋ ์๋ฏธ๋ก, ์ฃผ๋ณ ๋ ธ๋๊ฐ ๊ฐ์ ๋ ์ด๋ธ์ ์ํ ๋ ์๊ด๊ด๊ณ๊ฐ ์กด์ฌํ๋ค๊ณ ๋งํ ์ ์๋ค. • Applications : ๋ฌธ์ ๋ถ๋ฅ, ํ์ฌํ๊น , link pre.. 2022. 11. 17. [CS224W] PageRank 1๏ธโฃ PageRank Citation Ranking ๋ ผ๋ฌธ ๐น Summary • ์์ ์ ๊ฒ์์ด์ ๊ฐ์ฅ ์ ์ด์ธ๋ฆฌ๋ ํ์ด์ง๋ฅผ ์ฐพ๊ธฐ์ํ PageRank • ์ผ๋ง๋ ๋ง์ ์ฌ์ดํธ๋ค์ด ์ฐธ์กฐํ๋์ง + ์ฐธ์กฐํ ์ฌ์ดํธ๋ค์ ์ํฅ๋ ฅ์ ์ด๋ป๊ฒ ๋๋์ง = Relative importance of Web pages • PageRank : ์น ํ์ด์ง๋ค์ ์์๋ฅผ ๋งค๊ธฐ๋ ์๊ณ ๋ฆฌ์ฆ from link structure (backlinks) โช helps search engines and users quickly make sense of the vast heterogeneity of the WWW โช Applications : Search, browsing, traffic estimation โช ๊ฐ ํ์ด์ง์ rank ๋ ๊ณ ๋ฅด๊ฒ ๋ถ๋ฐฐ๋๋ค... 2022. 11. 2. [CS224W] 1๊ฐ Machine Learning With Graphs 1๏ธโฃ Why Graphs ๐น Graph • Graphs are a general language for describing and analyzing entities with relations/interactions • ์ํฐํฐ์ ๊ด๊ณ์ ์ํธ์์ฉ์ ๋ถ์ํ๊ณ ๋ฌ์ฌํ ์ ์๋ ์ธ์ด ๐น Many Types of Data are Graphs • ๋ง์ ๋ฐ์ดํฐ๊ฐ ๋คํธ์ํฌ ํํ๋ก ์ด๋ฃจ์ด์ ธ ์์ ๐น ๋คํธ์ํฌ vs ๊ทธ๋ํ • ๋คํธ์ํฌ ( = Natural Graph) social network : ์ฌํ ์ฐ๊ฒฐ๋ง communication and transaction : ์ ์๊ธฐ๊ธฐ, ํด๋ํฐ, ๊ธ์ต๊ฑฐ๋ Biomedicine : ์ ์ ์, ๋จ๋ฐฑ์ง ์ํธ์์ฉ์ ํตํ ์๋ช ์กฐ์ Brain connection : ์์ญ์ต ๋ด๋ฐ๋ค ์ฌ์ด์ ์ฐ๊ฒฐ์ฑ.. 2022. 10. 11. [CS224W] NetworkX , pytorch geometric Tutorial 1๏ธโฃ NetworkX Tutorial ๐น NetworkX https://networkx.org/ NetworkX — NetworkX documentation NetworkX is a Python package for the creation, manipulation, and study of the structure, dynamics, and functions of complex networks. networkx.org • Software for complex networks • ์ ํ, ๋น์ ํ ๋ฐ์ดํฐ๋ฅผ ๋คํธ์ํฌ์ ์ ๋ ฅํ ์ ์๋ค. • ๋ค์ํ ์ ํ์ ๋คํธ์ํฌ๋ฅผ ์์ฑํ ์ ์๋ค. • analyze network structure, build network models, design new network alg.. 2022. 10. 7. Pytorch Geometric Basic code ๐ ์๋ ๋ธ๋ก๊ทธ์ ์ฝ๋์ Pytorch Geometric ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ค๋ช ์ ์ฐธ๊ณ ํด ๊ณต๋ถํ์ต๋๋ค. https://baeseongsu.github.io/posts/pytorch-geometric-introduction/ ์์ ๋ฅผ ํตํด ์์๋ณด๋ PyTorch Geometric 5 Basic Concepts ๋ค์ ๊ธ์ PyTorch Geometric ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ค๋ช ์์ ์๋ Introduction by Example ๋ฅผ ์ฐธ๊ณ ํ์ฌ ์์ฑํ์ต๋๋ค. baeseongsu.github.io https://pytorch-geometric.readthedocs.io/en/latest/notes/introduction.html# Introduction by Example — pytorch_geometric documentatio.. 2022. 9. 30. ์ด์ 1 ๋ค์ 728x90